Robot
Складчик
- #1
[МФТИ] Старт в Data Engineering [Антон Поляков, Гайк Инанц]
- Ссылка на картинку
- Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL)
- Освоите инструменты: Git, SQL, базовый Python
- Научитесь работать с хранилищами данных (DWH)
Аналитики
- Получите навыки работы с хранилищами данных.
- Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков.
- Повысите компетенции для перехода в роль data engineer или data scientist.
- Получите навыки работы с хранилищами данных, SQL, базовым Python и репозиторием GitHub.
- Набьете руку в сборе, очистке и хранении данных.
- Сможете дальше развиваться как data engineer или аналитик.
- Научитесь быстро извлекать нужные данные без помощи разработчиков.
- Научитесь считать статистику по извлеченным данным без привлечения аналитиков.
- Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, GitHub.
- Узнаете, как устроены процессы сбора, очистки, хранения и анализа данных в современных компаниях.
- Поймете, зачем нужны хранилища данных (DWH) и как их использовать.
- Научитесь быстро извлекать нужные данные без помощи разработчиков.
- Научитесь проектировать и реализовывать процессы сбора, очистки, хранения и анализа данных.
- Получите навыки работы с хранилищами данных, SQL, Python и GitHub.
- Повысите компетенции для перехода в роль data engineer или data scientist.
На курсе мы научимся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач (примеры задач можно посмотреть в программе ниже).
Во втором блоке курса начинается работа над выпускным проектом, для которого есть два варианта выполнения:
- взять задачу, заранее подготовленную преподавателями;
- согласовать собственную тему, например, связанную с работой слушателя.
- собственное хранилище данных – DWH;
- процесс сбора, очистки, трансформации и хранения данных;
- систему автоматического поиска мошеннических операций (AntiFraud-система).
Спойлер: Программа
БЛОК I
Неделя 1.
Создание и заполнение таблиц, базовый синтаксис запросов SQL
Научимся строить таблицы, задавать в них форматы полей и ограничения, заполнять таблицы данными. Будем практиковаться писать обращения к таблицам и получать из них данные по простым условиям.
Мы вместе выполним следующее задание:
- создадим ER-модель процесса покупки-продажи акций компании пользователем;
- создадим таблицы по спроектированной модели;
- сформируем таблицы с данными определенных групп пользователей:
- пользователи из Москвы;
- акции компаний, выставленные на торги менее недели назад;
- данные об акциях определенной ценовой категории;
- данные об акциях определенных компаний.
Неделя 2.
Объединение и агрегация данных
Научимся объединять данные из разных таблиц и формировать более сложные запросы, обращаясь сразу к нескольким таблицам. Попрактикуемся в агрегации данных, что позволит нам строить запросы для получения простейшей статистики из данных.
Мы загрузим таблицу о клиентах интернет-магазина, таблицу с их заказами и таблицу с описанием этих заказов. После чего ответим на вопросы:
- Сколько клиенты всего потратили денег за год?
- Какое соотношение онлайн и оффлайн заказов среди клиентов?
- Каких товаров продали больше всего?
- Какие товары принесли наибольшую выручку за последний год?
Неделя 3.
Регулярные выражения и очистка данных
Разберем продвинутые методы работы с строками, изучим регулярные выражения. Это позволит делать более сложную и тонкую обработку строк и поиск по строкам. Кроме того, начнем практиковаться в очистке данных.
Мы реализуем процесс по очистке, валидации и приведению к единому виду данных, оставленных пользователями при регистрации в wifi-сети банковского отделения.
БЛОК II
Неделя 4.
Старт выпускного проекта. Основы UNIX (Linux) систем. Python для создания процессов обработки данных
Начнем готовиться к выпускному проекту и выбирать тему. Слушатель может выполнять заранее подготовленный преподавателем проект, либо согласовать собственную задачу. На этой неделе мы научимся выстраивать полноценный процесс обработки данных с использованием нескольких самописных Python приложений.
Кроме того, на этой неделе будет краткий экскурс в *nix системы, узнаем, как подключаться по ssh к *nix серверу, как выполнять пакеты и как планировать задачи с помощью crontab.
Неделя 5.
Оконные функции в SQL. Библиотека SQLite
Научимся создавать CRUD приложения на python, которое будет сохранять данные в базе данных SQLite.
После этого мы перейдем к довольно сложной, но очень полезной теме – оконным функциям. С их помощью мы научимся решать сложные аналитические задачи.
Научимся создавать локальные базы данных (без подключения к стороннему серверу) и обрабатывать данные – очень полезно, например, если служба безопасности не дает подключаться к сторонним сервисам.
Неделя 6.
Оконные функции и паттерны хранения данных
Разберемся, какие существуют шаблоны (паттерны) хранения данных и продолжим практиковаться в написании сложных оконных функций. Изучим, какие шаблоны хранения используются в современных DWH, научимся хранить историю изменения данных.
Неделя 7.
Инкрементальная загрузка. Оптимизация запросов
Мы изучим подход инкрементальной загрузки, что позволяет снимать с системы актуальное состояние и записывать данные в историческую таблицу. Кроме того, мы будем практиковаться в анализе запросов и их оптимизации.
Мы создадим ETL-процесс ежедневной загрузки транзакционных данных телекома и с помощью индексов ускорим работу некоторых запросов.
Неделя 8.
Разбор задач с собеседований и повторение материала
Будем практиковаться в решении наиболее часто встречающихся задач с собеседований на начинающих Data Engineer, аналитиков и другие близких data-специальностей. Вспомним и еще раз систематизируем все, что изучили на курсе.
Неделя 9-10.
Доработка выпускного проекта. Консультации с преподавателями
В эти две недели дорабатываем выпускные проекты, консультируемся с преподавателями.
Слушатели приходят к преподавателю на консультации с своими вопросами
Неделя 11.
Защита проектов. Подведение итогов курса.
Зарегистрируйтесь
, чтобы посмотреть скрытый авторский контент.
