О продукте: Apache Airfow – открытая платформа и самый популярный workflow в экосистеме Python, позволяющий планировать, отслеживать и запускать рабочие процессы обработки данных. Airflow используется для автоматизации и оркестрации сложных рабочих процессов в аналитике данных, обработке больших объемов данных и ML.
Цель практического курса: научиться управлять процессами обработки данных с помощью Apache Airfow. Курс состоит из 5 модулей и 6 практических заданий.
По окончании курса слушатели смогут:
- Загружать данные из различных источников;
- Управлять ресурсами сервера;
- Использовать расширенную визуализацию с Pipeline и DAG;
- Генерировать отчеты, транзакционные и аналитические операции;
- Использовать различные сценарии загрузки в настройке конфигураций.
Кому подходит программа: начинающим и опытным аналитикам данных, инженерам данных, специалистам по Data Science, разработчикам.
Минимальные требования к слушателю:
- основы Python
- основы работы с командной строкой (bash)
Программа курса:
1. Знакомство с Airflow
- Настойка локальный среды разработки
- Что такое пайплайны данных
- Что такое Airflow
2. Основные понятия
- Анатомия DAG
- Настройка расписания
- Использование шаблонов и контекста
- Определение зависимостей
- Распространенные операторы
- Работа с переменными (Variables) и подключениями (Connections).
3. Администрирование Airflow
- Архитектура
- Запуск DAG
- Обзор работы DAG
- Мониторинг
- Логи
- Нотификации о проваленных задачах
- Безопасность веб интерфейса
4. Продвинутые темы
- Продвинутые триггеры.
- Взаимодействие с внешними системами
- Создание кастомных компонентов
- Сенсоры (Sensors) и Deferrable Operators: работа с внешними событиями.
- ExternalTaskSensor и построение зависимостей между DAG’ами
5. Практики работы с Airflow
- Создание чистых DAG
- Дизайн повторяемых DAG
- Эффективная работа с данными
- Управление ресурсами сервера
- Получение реквизитов из систем управления секретами
- Версионирование DAG