Магистратура 2022/2023

Генеративные модели в машинном обучении

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Программирование и анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Санкт-Петербургская школа физико-математических и компьютерных наук

Когда читается: 2-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Деркач Денис Александрович, Попов Сергей Александрович, Рыжиков Артём Сергеевич

Прогр. обучения: Программирование и анализ данных

Язык: русский

Кредиты: 4

Контактные часы: 44

Программа дисциплины

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.

Цель освоения дисциплины

• ознакомление студентов с современными генеративными моделями
• обучение использованию вариационных автокодировщиков для генерации новых объектов
• обучение использования генеративно-состязательных сетей для генерации новых объектов
• обучение использования нормализирующих потоков для генерации изображений

Планируемые результаты обучения

• владеет необходимым аппаратом теории вероятностей
• знает способы задания расстояний между распределениями
• использует различные метрики качества для проверки генеративных моделей
• объясняет выбор размерности латентного пространства
• ориентируется в перспективных разработках в области генеративных моделей
• понимает разницу между генеративными и дискриминативными моделями
• умеет применять нормализующие потоки для генерации изображений
• Умеет тренировать автокодировщики
• умеет тренировать вариацонные актокодировщики
• Понимает преимущества и недостатки диффузионных моделей

Содержание учебной дисциплины

• Введение в генеративные модели
• Генеративно-состязательные сети и вариационные автокодировщики
• Обратимые модели
• Диффузионные модели

Элементы контроля

• Домашнее задание 1
  прикладные задачи по простейшим генеративным моделям и mcmc
• Домашнее задание 2
  Задачи по автокодировщикам
• Домашнее задание 3
  Задачи по генеративно-состязательным сетям
• Домашнее задание 4
  Задачи по нормализующим потокам
• Экзамен
  Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
• Проект

Промежуточная аттестация

• 2022/2023 учебный год 3 модуль
  0.16 * Домашнее задание 3 + 0.2 * Экзамен + 0.16 * Домашнее задание 4 + 0.16 * Домашнее задание 1 + 0.16 * Проект + 0.16 * Домашнее задание 2

Список литературы

Рекомендуемая основная литература

• Deep learning, Goodfellow, I., 2016
• Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis.
• Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
• Глубокое обучение на Python, Шолле, Ф., 2019
• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
• Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Глубокое обучение и TensorFlow для профессионалов : математический подход к построению систем искусственного интеллекта на Python, Паттанаяк, С., 2019
• Глубокое обучение, Гудфеллоу, Я., 2017
• Глубокое обучение, Гудфеллоу, Я., 2018

Авторы

• Деркач Денис Александрович