Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Диссертация посвящена улучшению обобщающей способности моделей 3D компьютерного зрения, что важно для их надежного функционирования в разнообразных, ранее не исследованных условиях. Исследование фокусируется на создании инновационных моделей для генерации синтетических данных, 3D реконструкции, генерации новых видов и плотной оценки позы человека. В частности, рассматривается возможность моделирования последовательности кадров в дискретном скрытом пространстве. Далее предложен метод для локализации особых кривых в 3D моделях, позволяющий обрабатывать зашумленные, высокоразрешенные 3D данные. Также рассмотрена модель для быстрой генерации новых видов, не требующая дополнительной оптимизации на новых сценах. Предложены улучшения для модели плотной оценки позы человека, позволяющие запускать её на мобильных устройствах. Наконец, показывается, как адаптировать модель 3D реконструкции головы человека на основе одного изображения для использования с неизвестными параметрами камеры.

За последнее время работы по сбору и разметке крупномасштабных трехмерных реальных сцен привели к значительному прогрессу в развитии алгоритмов семантического понимания трехмерных сцен. Они создали основу для трехмерного восприятия на уровне объектов, однако для многих прикладных сценариев требуется реконструкция мелкомасштабных частей объектов. Такая реконструкция становится более сложной задачей, поскольку на качество результата при реальном сканировании могут существенно повлиять шум, недостающие части объектов и другие артефакты, такие как размытие при движении объектов и/или сенсора. Данная работа посвящена способам нахождения эффективного использования информации на уровне частей для улучшения качества методов понимания крупномасштабных трехмерных сцен. В частности, сперва разрабатывается метод деформации синтетических моделей, направленный на приближение к геометрии реального объекта при сохранении информации на уровне частей объектов. Далее предлагается полуавтоматический способ переноса синтетической разметки частей объектов на реальные данные. Затем показывается, как с помощью полученной разметки можно эффективно использовать информацию на уровне частей объектов для задачи пополнения трехмерных объектов и задачи трехмерной семантической сегментации в реальных сценах.