Сравнение инструментов трекинга экспериментов (MLflow, ClearML, Comet ML)

• Задача: бинарная классификация на синтетических данных (sklearn.make_classification)
• Модель: RandomForestClassifier
• Поиск гиперпараметров: ручной GridSearch по сетке
• Валидация: StratifiedKFold

Логируются:

• Датасет (объединённый X + y в CSV)
• Гиперпараметры каждой модели
• Метрики: accuracy, ROC AUC (по фолдам и усреднённые значения)
• Лучшая модель (pickle/joblib)
• Таблица результатов всех запусков (CSV)
• ROC/PR-кривые по кросс-валидации (PNG)

Основной код генерации данных, обучения и кросс-валидации общий (src/common_experiment.py), а различается только обвязка логирования для каждого инструмента.

---

Установка

python -m venv .venv
.venv\Scripts\activate 
pip install -r requirements.txt

---

Структура

• src/common_experiment.py: общая логика - генерация данных, валидация, оптимизация гиперпараметров, сохранение артефактов (датасет, метрики, кривые, лучшая модель).
• src/run_mlflow.py: запуск эксперимента с логированием в MLflow.
• src/run_clearml.py: запуск с логированием в ClearML.
• src/run_comet.py: запуск с логированием в Comet ML.
• artifacts/: локальные артефакты

---

Подготовка MLflow

• Установить зависимости (см. requirements.txt).
• Запустить локальный MLflow:

mlflow ui
mlflow server --host 127.0.0.1 --port 8085

Запуск эксперимента:

cd src
python run_mlflow.py

Подготовка ClearML

1. Установить и запустить ClearML Server или использовать облачный.
2. Сконфигурировать ClearML CLI:

clearml-init

Запуск эксперимента:

cd src
python run_clearml.py

Подготовка Comet ML

1. Зарегистрироваться в Comet ML и создать API key в настройках аккаунта.
2. Добавить переменные окружения (например, в .env в корне проекта):

COMET_API_KEY=your_comet_api_key
COMET_WORKSPACE=your_workspace_name
COMET_PROJECT_NAME=synthetic-experiments

3. Установить зависимости (включая comet-ml):

pip install -r requirements.txt

Запуск эксперимента:

cd src
python run_comet.py