Автогенерация описаний к видео

ФИО студента: Ковалёнок Иван Владимирович

Руководитель: Скворцов Григорий Дмитриевич

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладной анализ данных (Бакалавриат)

Год защиты: 2024

Суммаризация видео в текст — важный метод анализа мультимедийного контента, который позволяет эффективно понимать контент из огромных видеобиблиотек. В этой работе мы проводим обширное исследование преобразования видео в текст (генерации текстового описания для видео), уделяя особое внимание разработке и оценке соответствующего пайплайна, способного автоматически генерировать информативные временные текстовые описания из видео, ограничивая их по времени. Наш конвейер сочетает в себе методы обработки звука, обработки естественного языка и компьютерного зрения, включая важные модули и процессы, такие как выбор ключевых кадров, отбор объектов из картинки , транскрипция видео и суммаризация текста. В пайплайне используются особенности нескольких модальностей, чтобы обеспечить согласованность и семантическую релевантность окончательного описания к видео.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ