Разработка эффективных энкодеров для StyleGAN модели

Область нейронных сетей и глубокого обучения за последние пару лет достигла значительного прогресса, в частности, сети добились заметного повышения качества в задачах по реконструкции и редактированию изображений. Одним из наиболее популярных методов для этого является использование особого типа модели генеративной адверсарной сети (GAN), называемой StyleGAN, и ее кодирующих реализаций. Во-первых, код генерации реального изображения проецируется в латентное пространство, во-вторых, этот код редактируется специальным образом с помощью предварительно обученного алгоритма, и, наконец, выходное изображение синтезируется из отредактированного кода с помощью обученного генератора. Этот процесс кодирования имеет три характеристики: скорость выполнения, качество восстановления исходного изображения и возможность редактирования. Данная работа посвящена улучшению качества редактирования изображений в архитектуре StyleFeatureEditor (SFE), которая использует как высокоразмерное пространство признаков F, так и низкоразмерное пространство W для скрытого поиска. Не теряя скорости и качества инверсии, мы предлагаем изменить способ, с помощью которого направление редактирования получается во время цикла обучения Feature Editor. Метод сравнивается с оригиналом и качественно признается одинаково четким в задачах инверсии и редактирования.