Автоматическое создание синхронизированных музыкальных видео

В настоящее время создание красивых, интересных видеороликов с соответствующим звуковым сопровождением становится очень популярной задачей для крупных социальных сетей, рекламных и маркетинговых компаний, а также в повседневной жизни пользователей интернета. Тем не менее, похоже, что проблема выбора музыки в качестве фона для конкретного видео иногда требует очень утомительной ручной работы и экспериментов. Мы предлагаем, как автоматизировать этот процесс, что может быть применимо во многих сценариях конечных пользователей. В первую очередь для создания музыкального видео необходимо выбрать наиболее подходящую музыку. Для конкретного видео наша система получает сигнал видео усилений, определяющий среднее распределение замедления движений на видео по времени, полученный с использованием алгоритма оптического потока. Из возможных музыкальных аудиодорожек наша система извлекает сигнал аудио усилений, определящий распределение музыкального темпа по времени. Основываясь на этих двух сигналах, мы вводим новые метрики сходства между необработанным видео и музыкой-кандидатом, которые используются при принятии решения о музыкальной рекомендации для конкретного видео. Этот подход требует только исходных видео и аудио сигналов и не требует какой-либо дополнительной информации, что является одним из основных преимуществ среди современных решений рекомендации музыки для видео. Мы проводили эксперименты с использованием непрерывной метрики, основанной на взаимной корреляции двух сигналов и дискретной метрики, основанной на расстоянии между извлеченными битами из видео и звука. Обе метрики показали преимущества предложенной модели по сравнению с различными случайными наложениями видео и музыки. Чтобы оценить результаты, мы измеряли точность определения соответствия оригинальной пары видео-музыка по сравнению с другими музыкальными наложениями.