Курс "Основы глубокого обучения" в ИТМО (осень 2025)

• 1.1 Вводное занятие, знакомство с PyTorch, полносвязные сети (15.11.2025)

• 1.2 Метод обратного распространения, PyTorch Autograd, Micrograd (21.11.2025)

• 1.3 Затухание и взрыв градиентов, функции активации, инициализация весов (21.11.2025)

• 1.4 Dropout & BatchNorm (28.11.2025)

• 1.5 Оптимизаторы: SGD, Momentum, NAG, Adagrad, RMSProp, Adam, AdamW (28.11.2025)

• 1.6 Функции потерь, сверточные сети (05.12.2025)

• 2.1 Сверточные сети (05.12.2025)

• 2.2 PyTorch Lightning, Learning Rate Schedulers (12.12.2025)

• 2.3 Dropout2d, BatchNorm2d, NLP basics: от Bag-of-Words к CNN для текстов (12.12.2025)

• 2.4 RNN, LSTM, GRU (19.12.2025)

• 3.1 Transformers basics, BERT, GPT (19.12.2025)

• 3.2 Аугментации для текстов и картинок (26.12.2025)

• 3.3 Huggingface, transformers pipeline, BERT finetuning (26.12.2025)

• 3.4 Full finetuning, Linear Probing, LP-FT, PEFT (LoRA) (26.12.2025)

• 3.5 Интерпретация DL-моделей: Saliency & SmoothGrad, Integrated Gradients, Grad-CAM, Guided Backprop, Occlusion, LIME, визуализация attention, Feature Ablation (17.01.2026)

• 3.6 Трансформеры в не-NLP задачах: CV, Audio, TS, мультимодальные модели, RecSys (17.01.2026)

• 3.7 Квантизация, прунинг, дистилляция, конвертация моделей в ONNX и другие форматы

---

Домашние задания

#	Тема	Max Балл	Жесткий Дедлайн
ДЗ 1	Создание и обучение MLP	10	14.12.2025 20:00 МСК
ДЗ 2	Классификатор FashionMNIST на PyTorch Lightning	10	28.12.2025 20:00 МСК
ДЗ 3	Классификация текстов с CNN и RNN	10	11.01.2026 20:00 МСК
ДЗ 4	Классификация текстов с transformers	10	19.01.2026 20:00 МСК

Соревнование

Ссылка	Max Балл	Жесткий Дедлайн
AITH DL Competition - Tabular data	30	24.01.2026 23:59 МСК
AITH DL Competition - Text data	30	24.01.2026 23:59 МСК

Необходимо выбрать одно соревнование (можно больше, но баллы в итоге будут выставлены за лучший результат).

Для решения задач необходимо использовать только нейросетевые модели.

Схема выставления баллов

• за позицию на private LB - max 15 баллов (по 5 баллов за преодоление каждого бенчмарка)
• оставшиеся 15 баллов - за код решения, посланный на ревью @pacifikus через github, как все ДЗ, отдельным PR

Баллы за позицию на LB выставляются только в случае создания PR с воспроизводимым решением!

Критерии для оценки кода

• Решение реализовано без концептуальных ошибок в архитектуре / дата-ликов в предобработке данных и т.п. - 5 баллов
• Принимаемые решения обоснованы (почему выбрана определенная архитектура/гиперпараметр/оптимизатор/преобразование и т.п.) - 3 балла
• Обеспечена воспроизводимость решения: зафиксированы random_state, ноутбук воспроизводится от начала до конца без ошибок - 5 баллов
• Ноутбук структурирован, код экспериментов не содержит дублирования, оформление соответствует стандарту pep8 - 2 балла