We use cookies in order to improve the quality and usability of the HSE website. More information about the use of cookies is available here, and the regulations on processing personal data can be found here. By continuing to use the site, you hereby confirm that you have been informed of the use of cookies by the HSE website and agree with our rules for processing personal data. You may disable cookies in your browser settings.

  • A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Diffusion-Based Generative Models

2024/2025
Academic Year
RUS
Instruction in Russian
Course type:
Elective course
When:
4 year, 1, 2 module

Instructor

Программа дисциплины

Аннотация

Диффузионные модели в данный момент являются наиболее популярной парадигмой в задачах генеративного моделирования за счет высокого качества генерации и разнообразия генерируемых данных. Их ключевая особенность — генерирование целой последовательности картинок, постепенно переходящих из шума в осмысленное изображение, вместо генерации одной итоговой картинки. Популярность диффузионной парадигмы породила целое семейство моделей, работающих в динамике. Они применимы к огромному количеству задач, включающих безусловную и условную генерацию, решение обратных задач (повышение разрешения, деблюрринг и т.д.) и перенос стиля. В курсе будет подробно разобрана математическая формализация диффузионных моделей и их обучение на практике, методы их обуславливания и сжатия. Помимо диффузионных моделей, мы разберем современные потоковые модели (в частности, модель Flow Matching) и их применение к перечисленным выше задачам генеративного компьютерного зрения.Warning: курс нельзя назвать прикладным, фокус будет на построении математической методологии, очень желательно уверенное знание теории вероятностей и других базовых математических предметов. Тем не менее, прикладные семинары и домашки тоже будут.
Цель освоения дисциплины

Цель освоения дисциплины

  • Умение работать с моделью Flow Matching в применении к задачам безусловной генерации и парным задачам переноса стиля;
  • Умение формулировать задачи переноса стиля в терминах оптимального транспорта
  • Освоение методов непарного переноса стиля на основе диффузионных моделей
  • Понимание смысла задачи моста Шрёдингера и связи между ее динамической формой и задачей энтропийного оптимального транспорта
  • Погружение в современное генеративное моделирование, понимание текущих результатов и задач, стоящих перед исследователями
Планируемые результаты обучения

Планируемые результаты обучения

  • Понимание динамического подхода к генеративному моделированию и сопутствующих инструментов: уравнения непрерывности и Фоккера-Планка
  • Освоение прикладных основ стохастических дифференциальных уравнений
  • Освоение диффузионных моделей и их применения к задачам генерации
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в курс. Работа с плотностями и условное математическое ожидание.
  • Диффузионные модели в дискретном времени. Введение в стохастические дифференциальные уравнения.
  • Уравнение непрерывности и Фоккера-Планка
  • Диффузионные модели в непрерывном времени. Обращение СДУ по времени. Score-функция и ее обучение.
  • Диффузионные модели для условной генерации. Classifier и Classifier-free Guidance.
  • Дистилляция диффузионных моделей в одношаговые. Consistency Models. Distribution Matching Distillation.
  • Модель Flow Matching для безусловной генерации и парных задач.
  • Задача статического и динамического оптимального транспорта. Метод Rectified Flow и его неподвижные точки.
  • Методы Neural Optimal Transport и Regularized Distribution Matching Distillation для непарного переноса стиля.
  • h-преобразование Дуба. Модель Bridge Matching: обобщение Flow Matching на стохастический случай.
  • Работа с распределениями случайных процессов: производная Радона-Никодима, KL-дивергенция между распределениями двух СДУ.
  • Решение задачи моста Шрёдингера методом множителей Лагранжа: методы ENOT, NSB. Метод Iterative Proportional Fitting.
  • Задача семплирования в дискретном случае. Генеративные потоковые сети (Generative Flow Networks, GFlowNet).
  • Задача семплирования в непрерывном случае. Denoising Diffusion Samplers.
Элементы контроля

Элементы контроля

  • неблокирующий Теоретическое домашнее задание 1
    Выдается после лекции № 2. Содержит две задачи: на дискретную диффузию и подсчет статистик СДУ.
  • неблокирующий Теоретическое домашнее задание 2
    Выдается после лекции № 4. Содержит три задачи: на уравнение Фоккера-Планка, связь дискретной и непрерывной диффузии, свойства score функции.
  • неблокирующий Теоретическое домашнее задание 3
    Выдается после лекции № 8. Содержит три задачи, связанные с теоретическими свойствами метода Flow Matching.
  • неблокирующий Теоретическое домашнее задание 4
    Выдается после лекции № 11. Содержит две задачи: первая посвящена методу Regularized Distribution Matching Distillation, вторая – решению задачи моста Шрёдингера.
  • неблокирующий Практическое домашнее задание 1
    Выдается после лекции №5. Содержит три задачи. Первая посвящена зависимости скорости генерации из диффузионных моделей от интервала их обуславливания. Вторая посвящена имплементации одного из методов обуславливания. Третья – обуславливанию на несколько условий.
  • неблокирующий Практическое домашнее задание 2
    Выдается после лекции №7. Содержит две задачи. Первая посвящена обучение модели Flow Matching с регуляризацией на спрямление траекторий. Вторая состоит в обучении модели Flow Matching с минибатч оптимальным транспортом.
  • неблокирующий Проект
    Выдается после лекции №9. Состоит в имплементации одного/нескольких методов из современных статей по генеративному моделированию. Цель зависит от конкретного метода и может включать в себя: 1) исследование качественных свойств метода в зависимости от гиперпараметров; 2) сравнение нескольких методов между собой; 3) просто воспроизведение, если метод сложный для имплементации.
  • неблокирующий Экзамен
    Экзамен проводится очно в устной форме. Студент получает билет, который включает в себя один вопрос из программы экзамена, одну качественную задачу (может быть сформулирована похоже на билет из программы). На подготовку отводится час. Во время подготовки можно использовать любые печатные материалы, но запрещается использовать электронные средства коммуникации. После ответа студенту задаются дополнительные вопросы по материалам курса или предлагается дополнительная качественная задача.
Промежуточная аттестация

Промежуточная аттестация

  • 2024/2025 2nd module
    Итог = Округление(0.5 * ДЗ + 0.2 * ПР + 0.3 * Э), где ДЗ — средняя оценка за все домашние задания, ПР — оценка за проект, Э — оценка за экзамен.
Список литературы

Список литературы

Рекомендуемая основная литература

  • Bernt Øksendal. (2010). Stochastic Differential Equations : An Introduction with Applications (Vol. 6th ed. 2003). Springer.

Рекомендуемая дополнительная литература

  • Ikeda, N., & Watanabe, S. (1981). Stochastic Differential Equations and Diffusion Processes. North Holland.

Авторы

  • Ракитин Денис Романович
  • Сысоева Алевтина Александровна