Генеративные модели в машинном обучении

2022/2023

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 3 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Деркач Денис Александрович, Попов Сергей Александрович, Рыжиков Артём Сергеевич

Язык: русский

Кредиты: 4

Контактные часы: 44

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.

Цель освоения дисциплины

ознакомление студентов с современными генеративными моделями
обучение использованию вариационных автокодировщиков для генерации новых объектов
обучение использования генеративно-состязательных сетей для генерации новых объектов
обучение использования нормализирующих потоков для генерации изображений

Планируемые результаты обучения

владеет необходимым аппаратом теории вероятностей
знает способы задания расстояний между распределениями
использует различные метрики качества для проверки генеративных моделей
объясняет выбор размерности латентного пространства
ориентируется в перспективных разработках в области генеративных моделей
понимает разницу между генеративными и дискриминативными моделями
умеет применять нормализующие потоки для генерации изображений
Умеет тренировать автокодировщики
умеет тренировать вариацонные актокодировщики
Понимает преимущества и недостатки диффузионных моделей

Содержание учебной дисциплины

Введение в генеративные модели
Генеративно-состязательные сети и вариационные автокодировщики
Обратимые модели
Диффузионные модели

Элементы контроля

Домашнее задание 1
прикладные задачи по простейшим генеративным моделям и mcmc
Домашнее задание 2
Задачи по автокодировщикам
Домашнее задание 3
Задачи по генеративно-состязательным сетям
Домашнее задание 4
Задачи по нормализующим потокам
Экзамен
Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
Проект

Промежуточная аттестация

2022/2023 учебный год 3 модуль
0.16 * Домашнее задание 3 + 0.2 * Экзамен + 0.16 * Домашнее задание 4 + 0.16 * Домашнее задание 1 + 0.16 * Проект + 0.16 * Домашнее задание 2

Список литературы

Авторы

Деркач Денис Александрович

Программа дисциплины