Байесовские методы в машинном обучении

2024/2025

Статус: Маго-лего

Кто читает: Базовая кафедра Яндекс

Когда читается: 1, 2 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Контактные часы: 56

Полная версия программы учебной дисциплины

Аннотация

"Изучение дисциплины «Байесовские методы машинного обучения» нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере."

Цель освоения дисциплины

Освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения, формирование математического аппарата, необходимого для использования байесовских методов в машинном обучении.

Планируемые результаты обучения

Владеть продвинутыми методами сеплирования из заданных распределений, в том числе их масштабируемыми разновидностями
Использовать в практических задачах случайные процессы, в том числе с нечисловыми значениями
Использовать вариационный автокодировщик для сжатия данных
Использовать гауссовские случайные процессы, в том числе для подбора гиперпараметров алгоритмов машинного обучения
Использовать на практике модели тематического моделирования
Использовать стохастичекий и дважды стохастический вариационный вывод для масштабирования байесовского вывода
Понимать конценпцию вариационную вывода
Понимать преимущества распределений из экспоненциального класса
Понимать различие между частотным и байесовским подходами в статистике
Понимать суть понятия обоснованности
Уметь использовать ЕМ-алгоритм для анализа моделей со скрытыми переменными
Уметь использовать методы Монте-Карло для генерации значений из заданных распределений
Уметь использовать приближение Лапласа для оценки обоснованности в случае задачи классификации
Уметь использовать схемы Метрополиса-Гастингса и Гиббса
Уметь находить сопряжённые распределения
Уметь осуществлять модели на основе байесовских соображений
Уметь пользовать формулой Байеса для решения практических задач
Уметь строить вероятностные модели для задачи классификации и подбирать распределения коэффициентов с помощью байесовского подхода
Уметь строить вероятностные модели для задачи регрессии и подбирать распределения коэффициентов с помощью байесовского подхода

Содержание учебной дисциплины

Байесовский подход к теории вероятностей.
Полный байесовский вывод
Байесовский выбор модели
Модель релевантных векторов для задачи регрессии
Модель релевантных векторов для задачи классификации
ЕМ-алгоритм
Вариационный подход
Методы Монте Карло по схеме марковских цепей (МСМС)
Стохастические методы МСМС
Гауссовские процессы для регрессии и классификации
Тематическая модель LatentDirichletAllocation(LDA)
Стохастический вариационный вывод. Вариационный автокодировщик.

Элементы контроля

Практическая работа
Теоретическая работа
Лабораторная работа
Экзамен

Промежуточная аттестация

2024/2025 2nd module
0.1 * Лабораторная работа + 0.1 * Лабораторная работа + 0.15 * Практическая работа + 0.15 * Практическая работа + 0.1 * Теоретическая работа + 0.1 * Теоретическая работа + 0.3 * Экзамен

Список литературы

Авторы

Фисенко Анна Сергеевна
Ветров Дмитрий Петрович
Бабенко Максим Александрович

Программа дисциплины