Генеративные модели в машинном обучении (углубленный курс)

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Бузаев Федор Александрович, Деркач Денис Александрович, Рыжиков Артём Сергеевич

Язык: русский

Кредиты: 6

Контактные часы: 80

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.

Цель освоения дисциплины

ознакомление студентов с современными генеративными моделями
обучение использованию вариационных автокодировщиков для генерации новых объектов
обучение использования генеративно-состязательных сетей для генерации новых объектов
обучение использования нормализирующих потоков для генерации изображений

Планируемые результаты обучения

владеет необходимым аппаратом теории вероятностей
знает способы задания расстояний между распределениями
использует различные метрики качества для проверки генеративных моделей
объясняет выбор размерности латентного пространства
ориентируется в перспективных разработках в области генеративных моделей
понимает разницу между генеративными и дискриминативными моделями
умеет применять нормализующие потоки для генерации изображений
Умеет тренировать автокодировщики
умеет тренировать вариацонные актокодировщики
Понимает преимущества и недостатки диффузионных моделей

Содержание учебной дисциплины

Введение в генеративные модели
Генеративно-состязательные сети и вариационные автокодировщики
Обратимые модели
Диффузионные модели

Элементы контроля

Домашнее задание 3
Задачи по генеративно-состязательным сетям
Домашнее задание 4
Задачи по нормализующим потокам
Экзамен
Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
Проект
Домашнее задание 1
Прикладные задачи по простейшим генеративным моделям и mcmc
Домашнее задание 2
Задачи по автокодировщикам

Промежуточная аттестация

2023/2024 4th module
0.16 * Домашнее задание 1 + 0.16 * Домашнее задание 2 + 0.16 * Домашнее задание 3 + 0.16 * Домашнее задание 4 + 0.16 * Проект + 0.2 * Экзамен

Список литературы

Авторы

Деркач Денис Александрович

Программа дисциплины