Стилизация изображений с помощью text-to-image диффузионных моделей

В настоящее время большие модели преобразования текста в изображение быстро завоевывают популярность в творческих областях, создавая визуально привлекательные результаты на основе текстовых подсказок. Однако существует необходимость в редактировании этих изображений. При различных стилях и другой требуемой семантике существующие методы требуют полной настройки параметров или небольшой их части. Однако даже PEFT (Parameter Efficient Fine Tuning) техники требует относительно больших вычислительных затрат для этих задач, не говоря уже о других проблемах, среди которых language-drift и серьезная деградация знаний об объектах заложенных в веса модели. Один из наиболее популярных подходов к задаче —— это использование контекстных способностей нынешних больших диффузионных моделей. В этой работе мы предлагаем два новых контекстных метода для стилизации изображений, которые мы назвали Soft Style Aligned и Naive Soft Style Aligned. Наши методы значительно лучше основного Style Aligned по всем зафиксированным метрикам.