Airflow для MLOps
MLOps охватывает всё необходимое для эксплуатации ML-моделей в продакшене. Airflow — инструмент-агностик оркестрации: он может управлять шагами в любом MLOps-инструменте с API. Плюсы: использование существующей экспертизы по Airflow, общая платформа для data/ML инженеров, интеграции, retries и branching, идемпотентные пайплайны и backfill, выбор compute под задачу (GPU, Spark), мониторинг и алерты, кастомные модули и плагины.
LLMOps (Large Language Model Operations): fine-tuning, RAG, prompt engineering. Airflow подходит для оркестрации пайплайнов инференса и GenAI.
Компоненты MLOps: BusinessOps (governance, стратегия), DevOps (CI/CD, версионирование, IaC), DataOps (хранение данных, препроцессинг, data quality), ModelOps (обучение, деплой, мониторинг моделей). Для обучения и инференса важно правильно выбрать compute (KubernetesPodOperator, отдельные очереди воркеров). Интеграции: MLFlow, Weights & Biases, Great Expectations, Open Lineage и др.
Дополнительно: GenAI и MLOps, Ask Astro, Astronomer Academy — GenAI.