Airflow: продвинутые темы — перевод на русский
Русский перевод разделов документации Astronomer.io Docs, посвящённых продвинутым возможностям Airflow.
Источник: Astronomer Learn. Перевод неофициальный, для личного использования.
Содержание
| № | Страница | Описание |
|---|---|---|
| 01 | Расширенные политики кластера | DAG/task/pod policy, pluggy, AirflowClusterPolicyViolation |
| 02 | Airflow для MLOps | Оркестрация ML/LLM пайплайнов, компоненты MLOps, интеграции |
| 03 | Плагины Airflow | AirflowPlugin, внешние представления, React, FastAPI, макросы |
| 04 | Пуллы (Pools) | Ограничение параллелизма, слоты, приоритеты |
| 05 | Кастомные XCom backend | Object Storage backend, своя сериализация |
| 06 | Deferrable-операторы | Триггеры, освобождение воркера, BaseTrigger |
| 07 | Event-driven планирование | Очереди сообщений, AssetWatcher, SQS, Kafka |
| 08 | Human-in-the-loop | Ожидание решения пользователя в пайплайне |
| 09 | Изолированные окружения | virtualenv, KubernetesPodOperator, Docker |
| 10 | KubernetesPodOperator | Запуск задачи в отдельном Pod |
| 11 | Логирование | Настройка логов, remote logging, формат |
| 12 | Мультиязычность | SDK для других языков, Go, BashOperator |
| 13 | Динамическая генерация DAG | Программное создание DAG |
| 14 | Setup и teardown | Блоки setup/teardown для ресурсов |
| 15 | Общий код между проектами | /include, Python-пакет, несколько репозиториев |
| 16 | Синхронное выполнение DAG | API wait, ожидание завершения и XCom |
| 17 | Тестирование Airflow | Тесты DAG, задач, pytest |
Документация ориентирована на Airflow 3.x. Импорты и API могут отличаться в других версиях.