Бакалавриат 2024/2025

Генеративные модели в машинном обучении

Статус: Курс по выбору (Прикладной анализ данных)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Язык: английский

Кредиты: 5

Course Syllabus

Abstract

Deep generative models are widely used in many areas of applied machine learning. In this course, we will look at modern architectures of generative models and learning algorithms. The lectures will highlight the main approaches proposed by the beginning of 2021, and analyze their main advantages and disadvantages. The seminars will cover examples of generating images, texts, and other objects using variational autoencoders (VAE), generative adversarial networks (GANs), autoregressive models, normalizing flows, and other approaches. The assignments in the seminars are motivated by well-known applications of generative models in science and industry.

Learning Objectives

• Introduce students with modern generative models
• learning how to use variational autoencoders to generate new objects
• learning to use generative adversarial networks to generate new objects
• learning to use normalizing streams for image generation

Expected Learning Outcomes

• Explains the choice of dimension of the latent space
• Able to train autoencoders
• Understands how to train variation act-coders
• Focuses on promising developments in the field of generative models
• Can apply normalizing streams to generate images
• Uses various quality metrics to validate generative models
• Understands the difference between generative and discriminative models

Course Contents

• Introduction to Generative Models
• Generative adversarial networks and variational autoencoders
• Reversible Models
• Diffusion Models

Assessment Elements

• Домашнее задание 1
  Задание касается оценки качества генеративного моделирования
• Домашнее задание 2
  Задание нацелено на исследование тренировки генеративно-состязательных сетей
• Домашнее задание 3
  Задание нацелено на понимание подходов к обучение нормализующих потоков.
• Домашнее задание 4
  Домашнее задание для проверки понимания концепции диффузионных моделей
• Проект
  Реализация современного алгоритма генеративного моделирования согласно его описанию в статье
• Экзамен
  Экзамен по теоретическим основам генеративного моделирования

Interim Assessment

• 2024/2025 3rd module
  0.17 * Домашнее задание 1 + 0.17 * Домашнее задание 2 + 0.17 * Домашнее задание 3 + 0.17 * Домашнее задание 4 + 0.17 * Проект + 0.15 * Экзамен

Bibliography

Recommended Core Bibliography

• Deep learning, Goodfellow, I., 2016
• Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis.
• Глубокое обучение с точки зрения практика, Паттерсон, Дж., 2018

Recommended Additional Bibliography

• Глубокое обучение и TensorFlow для профессионалов : математический подход к построению систем искусственного интеллекта на Python, Паттанаяк, С., 2019

Authors

• DERKACH DENIS ALEKSANDROVICH