Генерация музыки на основе списка загруженных треков

В данной работе рассматривается задача генерации музыки в символьном домене по списку загруженных треков. Сгенерированные композиции должны иметь похожий музыкальный стиль и звучание с теми, которые были загружены. Для решения задачи предлагается использовать технику селективного сэмплирования – специального отбора наиболее релевантных сэмплов базовой модели на основе численных критериев. Для оценивания степени стилевой схожести в данной работе вводятся две метрики: модификация метрики стилевого сходства, основанной на признаках исполнения, и метрика мелодического сходства, основанная на расстоянии Левенштейна. Использование значений предложенных метрик в совокупности позволяет как отбросить сэмплы, слишком сильно похожие на оригинал, так и выбрать из оставшихся наиболее релевантных кандидатов. В качестве базовой модели для сэмплирования используется модель Score2Perf Music Transformer, обученная на датасете YouTube dataset. Разнообразие стилевого распределения модели показано с помощью анализа на выборке известных классических произведений и подвыборке датасета piano-e-competition. Реализация итоговой системы генерации музыки в релевантном стиле и проведённые эксперименты представлены в репозитории работы, доступном по ссылке https://github.com/Vanyok-All-is-OK/music_selective_sampling.