MLOps Airflow Demo (Text Classification)

Быстрый старт

1. Перейдите в папку проекта:

2. Инициализируйте Airflow (БД + admin user):

   • docker compose up airflow-init

3. Поднимите scheduler и webserver:

   • docker compose up -d airflow-scheduler airflow-webserver

4. Откройте UI:

   • http://localhost:8081
   • Логин/пароль: admin / admin

Создание pool для demo

Создайте pool для CPU-heavy задач (внутри контейнера webserver или scheduler):

docker compose exec airflow-webserver airflow pools set ml_cpu_pool 2 "Pool for CPU-heavy demo tasks"

Как запустить DAG

1. В UI включите DAG train_text_classifier.
2. Нажмите Trigger DAG.
3. При необходимости задайте params