• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Персонализированная генерация изображений с помощью text-to-image диффузионных моделей

ФИО студента: Ишутин Андрей Евгеньевич

Руководитель: Мещанинов Вячеслав Павлович

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладная математика и информатика (Бакалавриат)

Оценка: 10

Год защиты: 2024

Данная работа исследует персонализированную генерацию изображений с использованием text-to-image диффузионных моделей, уделяя особое внимание распутыванию (disentanglement ) внутренних представление концепта и не-релаватной ему информация. Персональная генерация предполагает синтез изображений конкретных объектов («мой пес») в различных контекстах с использованием диффузионных моделей, таких как Stable Diffusion. Однако эти модели часто страдают от смешивания аттрибутов объекта с фоном, позой и т. п., что приводит к артефактам и неточностям. В работе сравниваются несколько уже существующих методов, включая Textual Inversion, DreamBooth, Custom Diffusion и DisenBooth, причем DisenBooth анализируется более детально благодаря своему уникальному подходу к распутыванию через адаптер. В работе предлагаются новые методы аугментаций данных и вводятся графики траекторий как способ оценки для визуализации компромисса между точностью следования контексту и точности представления объекта. Кроме того, в работе исследуются различные модификации DisenBooth, использование дополнительных или измененных функций потерь, внедрение информации из промежуточных слоев CLIP и подход без адаптера, чтобы оценить их влияние на проблему распутывания. Результаты показывают, что, хотя такие методы, как DisenBooth, подают большие надежды, распутывание все еще остается несовершенным. Проблемы, такие как протечка информации о концептах в вектор контекста и отсутствие обобщаемости identity-irrelevant адаптера продолжают существовать. Адаптер слишком слаб, чтобы метод получил выгоду от аугментации данных. Кроме того, исследованные изменения в contrastive функции потерь оказались неэффективными.

Текст работы (работа добавлена 20 мая 2024 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ