Дообучение модели универсального разделения источников звука с помощью техники адаптации низкого ранга

В данной работе исследуется эффективность дообучения query-based universal audio source separation моделей для улучшения качества выделения ограниченного числа целевых классов. Объектом исследования являются USS модели, построенные на архитектуре U-net, в частности, модель AudioSep. Основное внимание уделяется применению и сравнению техник Low Rank Adaptation (LoRa) и Prompt Tuning для дообучения этой модели. По результатам исследования обнаружилось, что несмотря на относительно малое количество обучаемых параметров (1% от числа параметров separation net исходной модели в случае LoRa и 0.015% в случае Prompt Tuning) качество выделения значительно улучшилось (от 4 до 10 dB в среднем) на трёх датасетах различной направленности. Кроме этого, был предложен пайплайн использования модели, в рамках которого для модели динамически подбираются оптимальные веса. Для воспроизводимости работы был опубликован исходный код модифицированных моделей и дообученные чекпоинты к ним.