Свёрточные нейросетевые модели для разделения аудио в сеттинге аудиопотока

Исследовательский проект был посвящен созданию глубинной нейронной сети для решения задачи разделения смесей аудио на компоненты в сеттинге аудиопотока. Для этого мы адаптировали одну из наилучших современных сверточных нейронных сетей, SpexPlus, используемых в офлайн режиме, под онлайн формат. Чтобы улучшить качество модели, мы разработали для нее множество механизмов памяти для увеличения захватываемого контекста при работе с последовательными сегментами аудио. Предложенные модификации были протестированы в ходе экспериментов. Мы продолжили работу с моделью с наилучшим механизмом памяти, изучили, насколько сильно такую архитектуру можно сжимать структурно, с помощью изменения ее гиперпараметров, и при применении к ней стандартных техник уменьшения размеров моделей (прунинга и квантизации), исследовали, как сжатие нейронной сети влияет на ее качество, вес и скорость. В этой работе описаны идеи из других исследований, которые были взяты за основу для создания механизмов памяти, ход и результаты проведенного нами исследования, проблемы и особенности обучения моделей, с которыми нам пришлось столкнуться.