Airflow DAGs — перевод на русский
Русский перевод разделов документации Astronomer.io Docs, посвящённых написанию и отладке DAG.
Источник: Astronomer Learn. Перевод неофициальный, для личного использования.
Содержание
| № | Страница | Описание |
|---|---|---|
| 01 | Контекст Airflow (Airflow context) | Словарь контекста задачи: ti, dag_run, params, шаблоны времени |
| 02 | Декораторы Airflow (Airflow decorators) | TaskFlow API: @task, @dag, передача данных, смешение с операторами |
| 03 | Уведомления об ошибках (Error notifications) | Настройка оповещений при сбоях задач и DAG |
| 04 | Параметры (Params) | DAG- и task-level параметры, переопределение при запуске |
| 05 | BranchOperator и ветвление | Условные ветви в DAG, @task.branch, ShortCircuit |
| 06 | Зависимости между DAG (Cross-DAG) | ExternalTaskSensor, триггер по ассетам, зависимость от другого DAG |
| 07 | Кастомные хуки и операторы | Создание и подключение своих хуков и операторов |
| 08 | Лучшие практики написания DAG | Идемпотентность, размер данных, структура кода |
| 09 | Параметры DAG (DAG parameters) | Полный список параметров DAG и их назначение |
| 10 | Версионирование DAG и DAG bundles | Версии DAG, каталоги загрузки, .airflowignore |
| 11 | Отладка DAG | Локальный тест, логи, шаблоны, проверка перед деплоем |
| 12 | Динамические задачи (Dynamic tasks) | Dynamic task mapping: expand, partial, маппинг по результату |
| 13 | Jinja-шаблонирование | Шаблонируемые поля, макросы, контекст в шаблонах |
| 14 | Передача данных между задачами (XCom) | XCom, размер данных, промежуточное хранилище (S3 и др.) |
| 15 | Повторный запуск DAG (Rerunning, Backfill) | Ручной перезапуск, backfill, очистка задач |
| 16 | Группы задач (Task groups) | @task_group, вложенные группы, динамический маппинг групп |
Документация ориентирована на Airflow 3.x. Импорты и API могут отличаться в других версиях.