Генеративные модели на основе диффузии

2024/2025

Учебный год

RUS

Обучение ведется на русском языке

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс по выбору

Когда читается:

4-й курс, 1, 2 модуль

Преподаватель

Ракитин Денис Романович

Программа дисциплины

Аннотация

Диффузионные модели в данный момент являются наиболее популярной парадигмой в задачах генеративного моделирования за счет высокого качества генерации и разнообразия генерируемых данных. Их ключевая особенность — генерирование целой последовательности картинок, постепенно переходящих из шума в осмысленное изображение, вместо генерации одной итоговой картинки. Популярность диффузионной парадигмы породила целое семейство моделей, работающих в динамике. Они применимы к огромному количеству задач, включающих безусловную и условную генерацию, решение обратных задач (повышение разрешения, деблюрринг и т.д.) и перенос стиля. В курсе будет подробно разобрана математическая формализация диффузионных моделей и их обучение на практике, методы их обуславливания и сжатия. Помимо диффузионных моделей, мы разберем современные потоковые модели (в частности, модель Flow Matching) и их применение к перечисленным выше задачам генеративного компьютерного зрения.Warning: курс нельзя назвать прикладным, фокус будет на построении математической методологии, очень желательно уверенное знание теории вероятностей и других базовых математических предметов. Тем не менее, прикладные семинары и домашки тоже будут.

Цель освоения дисциплины

• Умение работать с моделью Flow Matching в применении к задачам безусловной генерации и парным задачам переноса стиля;
• Умение формулировать задачи переноса стиля в терминах оптимального транспорта
• Освоение методов непарного переноса стиля на основе диффузионных моделей
• Понимание смысла задачи моста Шрёдингера и связи между ее динамической формой и задачей энтропийного оптимального транспорта
• Погружение в современное генеративное моделирование, понимание текущих результатов и задач, стоящих перед исследователями

Планируемые результаты обучения

• Понимание динамического подхода к генеративному моделированию и сопутствующих инструментов: уравнения непрерывности и Фоккера-Планка
• Освоение прикладных основ стохастических дифференциальных уравнений
• Освоение диффузионных моделей и их применения к задачам генерации

Содержание учебной дисциплины

• Введение в курс. Работа с плотностями и условное математическое ожидание.
• Диффузионные модели в дискретном времени. Введение в стохастические дифференциальные уравнения.
• Уравнение непрерывности и Фоккера-Планка
• Диффузионные модели в непрерывном времени. Обращение СДУ по времени. Score-функция и ее обучение.
• Диффузионные модели для условной генерации. Classifier и Classifier-free Guidance.
• Дистилляция диффузионных моделей в одношаговые. Consistency Models. Distribution Matching Distillation.
• Модель Flow Matching для безусловной генерации и парных задач.
• Задача статического и динамического оптимального транспорта. Метод Rectified Flow и его неподвижные точки.
• Методы Neural Optimal Transport и Regularized Distribution Matching Distillation для непарного переноса стиля.
• h-преобразование Дуба. Модель Bridge Matching: обобщение Flow Matching на стохастический случай.
• Работа с распределениями случайных процессов: производная Радона-Никодима, KL-дивергенция между распределениями двух СДУ.
• Решение задачи моста Шрёдингера методом множителей Лагранжа: методы ENOT, NSB. Метод Iterative Proportional Fitting.
• Задача семплирования в дискретном случае. Генеративные потоковые сети (Generative Flow Networks, GFlowNet).
• Задача семплирования в непрерывном случае. Denoising Diffusion Samplers.

Элементы контроля

• Теоретическое домашнее задание 1
  Выдается после лекции № 2. Содержит две задачи: на дискретную диффузию и подсчет статистик СДУ.
• Теоретическое домашнее задание 2
  Выдается после лекции № 4. Содержит три задачи: на уравнение Фоккера-Планка, связь дискретной и непрерывной диффузии, свойства score функции.
• Теоретическое домашнее задание 3
  Выдается после лекции № 8. Содержит три задачи, связанные с теоретическими свойствами метода Flow Matching.
• Теоретическое домашнее задание 4
  Выдается после лекции № 11. Содержит две задачи: первая посвящена методу Regularized Distribution Matching Distillation, вторая – решению задачи моста Шрёдингера.
• Практическое домашнее задание 1
  Выдается после лекции №5. Содержит три задачи. Первая посвящена зависимости скорости генерации из диффузионных моделей от интервала их обуславливания. Вторая посвящена имплементации одного из методов обуславливания. Третья – обуславливанию на несколько условий.
• Практическое домашнее задание 2
  Выдается после лекции №7. Содержит две задачи. Первая посвящена обучение модели Flow Matching с регуляризацией на спрямление траекторий. Вторая состоит в обучении модели Flow Matching с минибатч оптимальным транспортом.
• Проект
  Выдается после лекции №9. Состоит в имплементации одного/нескольких методов из современных статей по генеративному моделированию. Цель зависит от конкретного метода и может включать в себя: 1) исследование качественных свойств метода в зависимости от гиперпараметров; 2) сравнение нескольких методов между собой; 3) просто воспроизведение, если метод сложный для имплементации.
• Экзамен
  Экзамен проводится очно в устной форме. Студент получает билет, который включает в себя один вопрос из программы экзамена, одну качественную задачу (может быть сформулирована похоже на билет из программы). На подготовку отводится час. Во время подготовки можно использовать любые печатные материалы, но запрещается использовать электронные средства коммуникации. После ответа студенту задаются дополнительные вопросы по материалам курса или предлагается дополнительная качественная задача.

Промежуточная аттестация

• 2024/2025 2nd module
  Итог = Округление(0.5 * ДЗ + 0.2 * ПР + 0.3 * Э), где ДЗ — средняя оценка за все домашние задания, ПР — оценка за проект, Э — оценка за экзамен.

Список литературы

Рекомендуемая основная литература

• Bernt Øksendal. (2010). Stochastic Differential Equations : An Introduction with Applications (Vol. 6th ed. 2003). Springer.

Рекомендуемая дополнительная литература

• Ikeda, N., & Watanabe, S. (1981). Stochastic Differential Equations and Diffusion Processes. North Holland.

Авторы

• Ракитин Денис Романович
• Сысоева Алевтина Александровна