Автоматический дубляж видео

Непрерывное совершенствование искусственного интеллекта влияет на развитие всех сфер жизни, в том числе и медиапространства. Крупные видеохостинговые компании пытаются решить задачу перевода видео с одного языка на другой за счет интеллектуальной системы. Внедрение такой концепции является одним из возможных способов в несколько раз увеличить целевую аудиторию пользователей видеоплатформ. В связи с постоянным развитием глубинного обучения решение данной задачи может быть представлено в виде вариативной системы, состоящей из нескольких нейросетевых моделей различной архитектуры, а также иметь тенденцию к постоянному улучшению и поиску новых стратегий, способных исключить возникшие проблемы и недочеты уже существующих подходов. Данная работа направлена на реализацию базовой системы автоматического дубляжа видео, анализ современных подходов к решению этой задачи и выделение существенных недостатков базовой реализации, выявившихся в процессе имплементации на реальных видео. Особое внимание уделено исследованию и поиску рациональных решений проблем, обнаруженных на этапе применения системы. Это такие проблемы как: разделение посторонних шумов и речи, корреляция исходной и продублированной аудиодорожек, а также соответствие движения губ говорящего человека с разговорным вокалом, то есть lip synchronization. В процессе экспериментов для решения поставленных задач используются как статистические, так и нейросетевые методы и подходы.