Генеративные модели на основе диффузии

2024/2025

Учебный год

RUS

Обучение ведется на русском языке

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс по выбору

Когда читается:

4-й курс, 1, 2 модуль

Преподаватель

Ракитин Денис Романович

Программа дисциплины

Аннотация

В курсе будет подробно разобрана математическая формализация диффузионных моделей и их обучение на практике, методы их обусловливания, ускорения и сжатия. Помимо диффузионных моделей, мы разберем современные потоковые модели (в частности, модель Flow Matching) и их применение к различным задачам компьютерного зрения: обратным задачам (повышение разрешение, деблюринг и т.д.), парному и непарному переносу стиля. Существенная часть курса будет посвящена задаче оптимального транспорта и различным методам, ее решающим, в том числе, методам построения так называемых мостов Шрёдингера. Будет большая математическая составляющая, но будет и много практики: имплементация методов на семинарах, исследование выбора гиперпараметров моделей и их поведения в домашних работах. Помимо этого, в курсе предполагается проект, целью которого является реализация метода из одной из статей по выбору. Курс в первую очередь рассчитан на тех, кто интересуется и собирается заниматься генеративными моделями: диффузионные и потоковые модели сейчас выбивают SOTA результаты на многих задачах, и знать о том, как они устроены, лишним не будет. Помимо этого, в курсе будут разобраны многие техники, имеющие отношение к стохастическому анализу. Разобраны они будут не очень формально, но все равно могут быть полезны тем, кто больше любит теоретическую сторону вопроса, за счет разбора интуиции, стоящей за ними, и различных примеров их применения.

Цель освоения дисциплины

• Умение работать с моделью Flow Matching в применении к задачам безусловной генерации и парным задачам переноса стиля;
• Умение формулировать задачи переноса стиля в терминах оптимального транспорта
• Освоение методов непарного переноса стиля на основе диффузионных моделей
• Понимание смысла задачи моста Шрёдингера и связи между ее динамической формой и задачей энтропийного оптимального транспорта
• Погружение в современное генеративное моделирование, понимание текущих результатов и задач, стоящих перед исследователями

Планируемые результаты обучения

• Понимание динамического подхода к генеративному моделированию и сопутствующих инструментов: уравнения непрерывности и Фоккера-Планка
• Освоение прикладных основ стохастических дифференциальных уравнений
• Освоение диффузионных моделей и их применения к задачам генерации

Содержание учебной дисциплины

• Введение в курс. Работа с плотностями и условное математическое ожидание.
• Диффузионные модели в дискретном времени. Введение в стохастические дифференциальные уравнения.
• Уравнение непрерывности и Фоккера-Планка
• Диффузионные модели в непрерывном времени. Обращение СДУ по времени. Score-функция и ее обучение.
• Диффузионные модели для условной генерации. Classifier и Classifier-free Guidance.
• Дистилляция диффузионных моделей в одношаговые. Consistency Models. Distribution Matching Distillation.
• Модель Flow Matching для безусловной генерации и парных задач.
• Задача статического и динамического оптимального транспорта. Метод Rectified Flow и его неподвижные точки.
• Методы Neural Optimal Transport и Regularized Distribution Matching Distillation для непарного переноса стиля.
• h-преобразование Дуба. Модель Bridge Matching: обобщение Flow Matching на стохастический случай.
• Работа с распределениями случайных процессов: производная Радона-Никодима, KL-дивергенция между распределениями двух СДУ.
• Решение задачи моста Шрёдингера методом множителей Лагранжа: методы ENOT, NSB. Метод Iterative Proportional Fitting.
• Задача семплирования в дискретном случае. Генеративные потоковые сети (Generative Flow Networks, GFlowNet).
• Задача семплирования в непрерывном случае. Denoising Diffusion Samplers.

Элементы контроля

• Теоретическое домашнее задание 1
  Выдается после лекции № 2. Содержит две задачи: на дискретную диффузию и подсчет статистик СДУ.
• Теоретическое домашнее задание 2
  Выдается после лекции № 4. Содержит три задачи: на уравнение Фоккера-Планка, связь дискретной и непрерывной диффузии, свойства score функции.
• Теоретическое домашнее задание 3
  Выдается после лекции № 8. Содержит три задачи, связанные с теоретическими свойствами метода Flow Matching.
• Теоретическое домашнее задание 4
  Выдается после лекции № 11. Содержит две задачи: первая посвящена методу Regularized Distribution Matching Distillation, вторая – решению задачи моста Шрёдингера.
• Практическое домашнее задание 1
  Выдается после лекции №5. Содержит три задачи. Первая посвящена зависимости скорости генерации из диффузионных моделей от интервала их обуславливания. Вторая посвящена имплементации одного из методов обуславливания. Третья – обуславливанию на несколько условий.
• Практическое домашнее задание 2
  Выдается после лекции №7. Содержит две задачи. Первая посвящена обучение модели Flow Matching с регуляризацией на спрямление траекторий. Вторая состоит в обучении модели Flow Matching с минибатч оптимальным транспортом.
• Проект
  Выдается после лекции №9. Состоит в имплементации одного/нескольких методов из современных статей по генеративному моделированию. Цель зависит от конкретного метода и может включать в себя: 1) исследование качественных свойств метода в зависимости от гиперпараметров; 2) сравнение нескольких методов между собой; 3) просто воспроизведение, если метод сложный для имплементации.
• Экзамен
  Экзамен проводится очно в устной форме. Студент получает билет, который включает в себя один вопрос из программы экзамена, одну качественную задачу (может быть сформулирована похоже на билет из программы). На подготовку отводится час. Во время подготовки можно использовать любые печатные материалы, но запрещается использовать электронные средства коммуникации. После ответа студенту задаются дополнительные вопросы по материалам курса или предлагается дополнительная качественная задача.

Промежуточная аттестация

• 2024/2025 2nd module
  Итог = Округление(0.5 * ДЗ + 0.2 * ПР + 0.3 * Э), где ДЗ — средняя оценка за все домашние задания, ПР — оценка за проект, Э — оценка за экзамен.

Список литературы

Рекомендуемая основная литература

• Bernt Øksendal. (2010). Stochastic Differential Equations : An Introduction with Applications (Vol. 6th ed. 2003). Springer.

Рекомендуемая дополнительная литература

• Ikeda, N., & Watanabe, S. (1981). Stochastic Differential Equations and Diffusion Processes. North Holland.

Авторы

• Ракитин Денис Романович
• Сысоева Алевтина Александровна