Генеративные модели в машинном обучении

Магистратура 2024/2025

Статус: Курс обязательный (Искусственный интеллект)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Прогр. обучения: Машинное обучение и высоконагруженные системы

Язык: русский

Кредиты: 3

Контактные часы: 16

Полная версия программы учебной дисциплины

Аннотация

Данный курс является идейным продолжением модульного курса по Глубинному обучению. В нём студентам предстоит изучить принципиально важные (прежде всего) для задачи генерации текста трансформерные модели, а также семейство генеративных моделей широкого применения: генеративно-состязательные сети, вариационные автокодировщики, нормализующие потоки и диффузию, SoTa в задаче генерации реалистичных изображений. В последнем блоке курса дается обзор подходов к построению мультимодальных генеративных моделей (преимущественно для доменов text и image), синтезу речи, а также оптимизации инференса

Цель освоения дисциплины

Глубокое понимание студентами архитектуры трансформера и механизма внимания, их применимости в различных задачах;
Знание студентом разницы между моделями BERT, GPT и T5; границами их применимости;
Умение написать и обучить свою модель GAN//VAE//NF//Diffusion применительно к данным из домена изображений; знание различий между классами генеративных моделей, их достоинств и недостатков;
Способность решать задачи генерации текстового описания к картинкам и, наоборот, изображения по его текстовому описанию;
Понимание устройства нейросетей для синтеза речи, особенностей домена;
Возможность эффективного использования моделей для инференса (техники дистилляции знаний, прунинга, квантизации и пр.)

Планируемые результаты обучения

Глубокое понимание студентами архитектуры трансформера и механизма внимания, их применимости в различных задачах;
Знание студентом разницы между моделями BERT, GPT и T5; границами их применимости;
Умение написать и обучить свою модель GAN на pytorch применительно к данным из домена изображений;
знание достоинств и недостатков генеративно-состязательных сетей и тонкостей их обучения;
Умение написать и обучить свою модель VAE и Normalizing Flows применительно к данным из домена изображений;
понимание достоинств и недостатков обеих моделей, разницы между работой моделей на инференсе и обучении;
Умение написать и обучить свою модель Diffusion для генерации фотореалистичных изображений;
Способность решать задачи генерации текстового описания к картинкам и, наоборот, изображения по его текстовому описанию;
Понимание устройства нейросетей для синтеза речи, особенностей домена
Возможность эффективного использования моделей для инференса (техники дистилляции знаний, прунинга, квантизации и пр.)