Семантическое редактирование изображений с помощью генеративных моделей

Семантическое редактирование изображений с помощью генеративных моделей яв- ляется активно развивающейся областью, и существует множество подходов для решения данной задачи. Одним из методов использующий генеративные способности StyleGAN [7] и мультимодальное латентное пространства CLIP [16], является DeltaEdit [13], метод не обуча- ющийся на текстовых промптах напрямую. Не смотря на большое количество преимуществ перед остальными StyleGAN+CLIP подходами, DeltaEdit плохо справляется с комплексными промптами, которые соответствуют изменениям сразу нескольких аттрибутов изображения. Для решения данной проблемы мы предлагаем две модификации DeltaEdit, которые ранее не встречались в литературе – одна использует технику смешивания стилей (SM-DeltaEdit), в то время как вторая заключается в оптимизации модифицированной функции потерь CLIP- NCE [21] (CF-DeltaEdit). В ходе работы, с помощью глубокого количественого и качественно- го анализа, мы покажем преимущество метода CF-DeltaEdit перед его предшественником, а также покажем недостатки метода SM-DeltaEdit с теоретической точки зрения. Код доступен по ссылке https://github.com/hzchet/semantic-editing.