Новые представления для изображений и 3D сценNew representations for images and 3D scenes
Соискатель:
Хахулин Тарас Андреевич
Руководитель:
Лемпицкий Виктор Сергеевич (др. работы под рук-вом)
Члены комитета:
Савченко Андрей Владимирович (НИУ ВШЭ в Нижнем Новгороде, д.т.н., председатель комитета), Войнов Андрей Сергеевич (Google, к.ф.-м.н., член комитета), Вонка Питер (Научно-технологический университет имени короля Абдаллы (Саудовская Аравия), PhD, член комитета), Левинков Евгений Владимирович (Synthesia, к.т.н., член комитета), Феррер Гонзало (Сколковский институт науки и технологий, PhD, член комитета)
Диссертация принята к предварительному рассмотрению:
5/16/2024
Диссертация принята к защите:
6/13/2024
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
10/28/2024
В данной работе исследуются различные методы для получения новых возможностей при генерации изображений и 3D-сцен. В первой части разбирается проблема преобразования изображений высокого разрешения из непарных данных и создания генеративных моделей без сверточных нейронных сетей. Далее демонстрируется новое представление произвольных трехмерных сцен, что позволяет осуществлять реконструкцию на основе разреженных входных данных. В последней части рассматривается задача генерации анимируемых изображений людей выучивая зависимости из видео. В работе предлагаются новые методы нейронного рендеринга на основе построения аппроксимированной геометрии головы по входному изображению и альтернативный метод без использования явной 3D геометрии. Также выявляется способ улучшить выходное разрешение без прямого использования высококачественных данных.
Диссертация [*.pdf, 44.11 Мб] (дата размещения 8/27/2024)
Резюме [*.pdf, 123.91 Кб] (дата размещения 8/27/2024)
Summary [*.pdf, 104.79 Кб] (дата размещения 8/27/2024)
Публикации, в которых излагаются основные результаты диссертации
Anokhin I., Solovev P., Korzhenkov D., Kharlamov A., Khakhulin T., Silvestrov A., Nikolenko S., Lempitsky V., Sterkin G. High-Resolution Daytime Translation without Domain Labels (смотреть на сайте журнала)
Anokhin I., Demochkin K., Khakhulin T., Sterkin G., Lempitsky V., Korzhenkov D. Image generators with conditionally-independent pixel synthesis (смотреть на сайте журнала)
Khakhulin T., Korzhenkov D., Solovev P., Sterkin G., Ardelean A.-T., Lempitsky V. Stereo Magnification with Multi-Layer Images (смотреть на сайте журнала)
Khakhulin T., Sklyarova V., Lempitsky V., Zakharov E. Realistic One-Shot Mesh-Based Head Avatars (смотреть на сайте журнала)
Drobyshev N., Chelishev J., Khakhulin T., Ivakhnenko A., Lempitsky V., Zakharov E. MegaPortraits: One-shot Megapixel Neural Head Avatars (смотреть на сайте журнала)
Solovev P., Khakhulin T., Korzhenkov D. Self-improving Multiplane-to-layer Images for Novel View Synthesis (смотреть на сайте журнала)
Отзывы
Отзыв научного руководителя
- Лемпицкий Виктор Сергеевич (дата размещения 5/17/2024)
Отзыв члена Комитета
- Левинков Евгений Владимирович (дата размещения 10/14/2024)
- Савченко Андрей Владимирович (дата размещения 10/15/2024)
- Войнов Андрей Сергеевич (дата размещения 10/14/2024)
- Вонка Питер (дата размещения 10/14/2024)
- Феррер Гонзало (дата размещения 10/14/2024)
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата наук (протокол № 2 от 28.10.2024); Решением диссертационного совета (протокол № 9 от 31.10.2024) присуждена ученая степень кандидата компьютерных наук.
Ключевые слова:
См. на ту же тему
Мультимодальное машинное зрениеКандидатская диссертация
Соискатель: Сенюшкин Дмитрий Сергеевич
Руководитель: Конушин Антон Сергеевич
Ускорение, сжатие и усовершенствование нейросетевых алгоритмов классификации и распознавания объектов на изображении и в видеопотоке.Кандидатская диссертация
Соискатель:
Руководитель: Оселедец Иван Валерьевич
Приложение машинного обучения к теоретико-игровым задачам: аукционы и марковские игрыКандидатская диссертация
Соискатель: Иванов Дмитрий Игоревич
Руководитель: Нестеров Александр Сергеевич