Учебник по машинному обучению — от ШАД Яндекса
О чём этот учебник
Освойте современные методы ML: от классического обучения до глубинного обучения и нейросетей, генеративных моделей и устройства рекомендательных систем. Продвинутый учебник по машинному обучению — без упрощений и воды, в лучших традициях Школы анализа данных. От базовых алгоритмов до тем из актуальных исследований. Много математики, кода и практики.
Зачем изучать
Машинное обучение уже применяется в медицине, финансах, разработке беспилотников, рекомендательных систем и многих других областях. Учебник поможет сделать первый шаг от использования моделей к их разработке.
Что нужно уметь
Понадобятся знания линейной алгебры, анализа и теории вероятностей. Опыт со статистикой и оптимизацией желателен, но не критичен.
Вступайте в сообщество учебника
Здесь можно найти единомышленников, экспертов и просто интересных собеседников. А ещё — получить помощь или поделиться знаниями.
1. Введение
Как устроен учебник, какие знания понадобятся и какие задачи решает машинное обучение.
2. Классическое обучение с учителем
Основные алгоритмы обучения с учителем: линейные модели, деревья, ансамбли и градиентный бустинг.
3. Оценка качества моделей
Метрики, кросс-валидация и подбор гиперпараметров для надёжной оценки качества моделей.
4. Вероятностные модели
Вероятностная постановка задач, обобщённые линейные модели, байесовское оценивание и скрытые переменные.
5. Глубинное обучение — введение
Основы нейронных сетей, полносвязные архитектуры, обратное распространение ошибки и обучение моделей.
6. Глубинное обучение — архитектуры
Архитектуры для изображений, последовательностей, графов и облаков точек, включая трансформеры.
7. Глубинное обучение — практика
Практические методы обучения представлений и переноса знаний между нейронными сетями.
8. Генеративные модели
VAE, GAN, нормализующие потоки, диффузионные и языковые модели.
9. Рекомендательные системы
Матричные и контентные методы рекомендаций и свойства качественных рекомендательных систем.
10. Практические разделы
Кластеризация, временные ряды, ARIMA и методы ранжирования для прикладных задач.
11. Взаимодействие со средой
Обучение с подкреплением и краудсорсинг как способы получать опыт и разметку из среды.
12. Теория ML
Теоретический разбор компромисса между смещением и разбросом модели.
13. Теория глубокого обучения
Обобщающая способность глубоких сетей, PAC-байесовский анализ, бесконечная ширина и implicit bias.
14. Оптимизация в ML
Проксимальные и второпорядковые методы оптимизации и анализ сходимости SGD.
15. Онлайн-обучение и стохастическая оптимизация
Онлайн-обучение, адаптивный FTRL, регуляризация и оптимизация глубоких моделей.
16. Теормин
Матричное дифференцирование, факторизации, распределения, оценки и энтропия.
Создано авторами при поддержке