Бакалавриат
2023/2024
Машинное обучение
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс обязательный
Направление:
09.03.04. Программная инженерия
Когда читается:
4-й курс, 3 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Преподаватели:
Бурашников Евгений Павлович
Язык:
русский
Кредиты:
6
Контактные часы:
44
Программа дисциплины
Аннотация
Целью освоения дисциплины «Машинное обучение», является изучение основных аппаратов машинного обучения, эффективных алгоритмов обучения и применения обученных моделей, основ теории байесовского вывода. В результате изучения дисциплины у студента будет сформировано представление о современном состоянии дел в теории байесовского вывода. Студент получит также представление об основных методах машинного обучения, соответствующих алгоритмах вывода, вероятностных основах машинного обучения и соответствующих моделях. Изучение дисциплины будет способствовать как развитию вероятностной интуиции и разработке моделей и методов машинного обучения, так и практическому их применению.
Цель освоения дисциплины
- изучение основных аппаратов машинного обучения, эффективных алгоритмов обучения
- применения обученных моделей, основ теории байесовского вывода
Планируемые результаты обучения
- Демонстрирует знание вариантов SVM
- Демонстрирует знание метода опорных векторов
- Демонстрирует знание мультиномиального и многомерного наивного байесовского классификатора
- демонстрирует знание правила Лапласа и сопряженных априорных распределений
- Демонстрирует знание скрытых марковских моделей
- Демонстрирует знание статистической теории принятия решений
- Демонстрирует знания в области теории вероятностей, теоремы Байеса и машинного обучения
- Знает метод наименьших квадратов и метод ближайших соседей
- Знает разные формы регуляризаторов, Лассо-регрессию, эквивалентные ядра
- Умеет комбинировать модели с помощью усреднения, бутстрапа и бэггинга
- Умеет обучать логистическую регрессию и аппроксимировать по Лапласу
- Умеет применять иерархическую кластеризацию методами теории графов
- Умеет применять метод ближайших соседей и сингулярное разложение матриц к рекомендательным системам
- Умеет решать задачи классификации
- Умеет ставить задачу ранжирования (RankBoost, LambdaRank)
- Умеет строить линейную и логистическую регрессию
- Умеет строить линейную регрессию по-байесовски
Содержание учебной дисциплины
- Введение. История искусственного интел-лекта. Вспоминаем теорию вероятностей. Теорема Байеса и машинное обучение. Что умеет делать машинное обучение
- Правило Лапласа. Априорные распределения. Сопряжённые априорные распределения.
- Наименьшие квадраты и ближайшие соседи. Линейная регрессия. Логистическая регрессия.
- Статистическая теория принятия решений. Разложение bias-variance-noise. Оверфиттинг. Регуляризация: гребневая регрессия. Линейная регрессия по-байесовски.
- Линейная регрессия: разные формы регуляризаторов. Лассо-регрессия. Эквивалентные ядра. Проклятие размерности.
- Задачи классификации. Линейный дискриминант Фишера. Наивный байесовский классификатор: мультиномиальный и многомерный.
- Логистическая регрессия: как обучать. Мультиклассовая логистическая регрессия. Аппроксимация по Лапласу. Пробит. Логистическая регрессия по-байесовски.
- Метод опорных векторов (SVM). Трюк с ядрами.
- Варианты SVM. SVM по-байесовски: rele-vance vector machines.
- Кластеризация: иерархическая, методами теории графов. Алгоритм EM для кластеризации.
- Скрытые марковские модели.
- Комбинация моделей: усреднение, бутс-трап, бэггинг. Бустинг: AdaBoost.
- Обучение ранжированию: постановка за-дачи, RankBoost. LambdaRank.
- Рекомендательные системы: метод ближайших соседей, сингулярное разложение матриц.
Промежуточная аттестация
- 2023/2024 учебный год 3 модуль0.4 * Контрольная работа + 0.6 * Лабораторная работа
Список литературы
Рекомендуемая основная литература
- Murphy, K. P. (2012). Machine Learning : A Probabilistic Perspective. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=480968
Рекомендуемая дополнительная литература
- Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008