Перейти к содержанию

airflow-docs

Русский перевод документации Apache Airflow® в формате Markdown. Структура ориентирована на разделы сайта Astronomer.io Docs. Для личного использования и размещения на GitHub.

Телеграм канал

Подписывайтесь на телеграм канал @data_engineer_path

Структура документов

01. Airflow Concepts: Basics (Astronomer)

Основы Airflow: интерфейс, операторы, планирование, переменные, подключения.

  • 01. astronomer-basic/ — оглавление раздела
  • Темы: Airflow UI, ассеты, BashOperator, Connections, DAG, выполнение SQL, Hooks, управление кодом, операторы, планирование, сенсоры, зависимости задач, trigger rules, переменные.

02. Airflow DAGs (Astronomer)

Написание и отладка DAG: контекст, декораторы, параметры, ветвление, XCom, тесты.

  • 02. astronomer-dags/ — оглавление раздела
  • Темы: контекст Airflow, декораторы, уведомления, params, BranchOperator, cross-DAG зависимости, кастомные хуки и операторы, лучшие практики, параметры DAG, версионирование, отладка, динамические задачи, Jinja-шаблоны, передача данных между задачами, повторный запуск, task groups.

03. Airflow: инфраструктура (Astronomer)

Компоненты Airflow, метаданные БД, исполнители, масштабирование.

  • 03. astronomer-infra/ — оглавление раздела
  • Темы: компоненты (Scheduler, API server, DAG processor, Triggerer, БД), метаданные БД, executors (Astro, Kubernetes, Celery, Local), масштабирование воркеров.

04. Airflow: продвинутые темы (Astronomer)

Политики кластера, MLOps, плагины, пуллы, XCom backend, deferrable, event-driven, Human-in-the-loop, изолированные окружения, KubernetesPodOperator, логирование, мультиязычность, динамические DAG, setup/teardown, общий код, синхронное выполнение, тестирование.

05. Airflow: написание DAG (Astronomer)

Практики написания DAG и локальная разработка.

  • 05. astronomer-write-dags/ — оглавление раздела
  • Темы: Airflow Object Storage, документирование DAG, DAG Factory (YAML), разработка в PyCharm, SQL check operators (data quality), разработка в VS Code.

Документация как сайт (GitHub Pages)

Репозиторий настроен на сборку и публикацию сайта документации с боковым меню и контентом справа.

  • Стек: MkDocs + тема Material.
  • Деплой: при пуше в main/master GitHub Actions собирает сайт и публикует его на GitHub Pages.
  • Адрес сайта: https://<владелец-репо>.github.io/airflow-docs/ (после первого деплоя включите в настройках репозитория: Settings → Pages → Source: GitHub Actions).

Локальный просмотр и правки:

pip install mkdocs-material
mkdocs serve

Откройте в браузере http://127.0.0.1:8000 — слева меню, справа содержание страницы.

Чтобы сайт открывался по адресу airflow-docs.github.io, создайте организацию airflow-docs и репозиторий airflow-docs.github.io, затем перенесите туда контент и workflow (и при необходимости задайте site_url в mkdocs.yml).

Использование

  • Читать в любом Markdown-редакторе или на GitHub (навигация по ссылкам между файлами).
  • Исходные тексты: Apache Airflow Documentation, Astronomer Learn. Перевод неофициальный.

Оригинальная документация

Лицензия

Apache Airflow — проект Apache Software Foundation. Репозиторий — неофициальный перевод документации для личного использования.