Data Engineering
с нуля до пайплайнов
Интерактивный курс: Python и SQL запускаются прямо в браузере, дальше Airflow, Spark, S3, Postgres, dbt и Grafana. Каждый урок: теория, живой пример, задание с проверкой.
Начать с первого урокаPython с нуля
Переменные, условия, циклы, коллекции, функции.
уроков: 2 ·SQL: от основ до CTE
Как работает запрос, JOIN, индексы, оптимизация, оконные функции.
уроков: 1 ·Docker, Linux и git
Минимум, чтобы запускать всё остальное.
скороAirflow I
Как работает, первый DAG: S3 → Spark.
скороAirflow II
S3 → Postgres, идемпотентность, ретраи, backfill.
скороДашборды в Grafana
Анализ данных, панели, переменные, алерты.
скороХранилища и форматы
S3/MinIO, Parquet, партиционирование, озёра.
скороPySpark глубже
DataFrame API, shuffle, партиции, оптимизация.
скороdbt
Модели, тесты, инкрементальность, lineage.
скороМоделирование данных
Kimball, звезда, SCD, Data Vault.
скороKafka и стриминг
Producer/consumer, Structured Streaming.
скороКачество данных
Тесты, наблюдаемость, алерты.
скороAPI и парсинг
Пагинация, лимиты, запись в S3.
скороCI/CD и инфраструктура
GitHub Actions, Terraform, облака.
скороИтоговый проект
API → S3 → Spark → Postgres → dbt → Airflow → Grafana.
скороСобеседования
Задачи на SQL и Python, дизайн пайплайна.
скоро