Data Engineering
с нуля до пайплайнов

Интерактивный курс: Python и SQL запускаются прямо в браузере, дальше Airflow, Spark, S3, Postgres, dbt и Grafana. Каждый урок: теория, живой пример, задание с проверкой.

Начать с первого урока
Модуль 1

Python с нуля

Переменные, условия, циклы, коллекции, функции.

уроков: 2 ·
Модуль 2

SQL: от основ до CTE

Как работает запрос, JOIN, индексы, оптимизация, оконные функции.

уроков: 1 ·
Модуль 3

Docker, Linux и git

Минимум, чтобы запускать всё остальное.

скоро
Модуль 4

Airflow I

Как работает, первый DAG: S3 → Spark.

скоро
Модуль 5

Airflow II

S3 → Postgres, идемпотентность, ретраи, backfill.

скоро
Модуль 6

Дашборды в Grafana

Анализ данных, панели, переменные, алерты.

скоро
Модуль 7

Хранилища и форматы

S3/MinIO, Parquet, партиционирование, озёра.

скоро
Модуль 8

PySpark глубже

DataFrame API, shuffle, партиции, оптимизация.

скоро
Модуль 9

dbt

Модели, тесты, инкрементальность, lineage.

скоро
Модуль 10

Моделирование данных

Kimball, звезда, SCD, Data Vault.

скоро
Модуль 11

Kafka и стриминг

Producer/consumer, Structured Streaming.

скоро
Модуль 12

Качество данных

Тесты, наблюдаемость, алерты.

скоро
Модуль 13

API и парсинг

Пагинация, лимиты, запись в S3.

скоро
Модуль 14

CI/CD и инфраструктура

GitHub Actions, Terraform, облака.

скоро
Модуль 15

Итоговый проект

API → S3 → Spark → Postgres → dbt → Airflow → Grafana.

скоро
Модуль 16

Собеседования

Задачи на SQL и Python, дизайн пайплайна.

скоро