Архитектуры глубинного обучения с ограниченным бюджетом по памятиDeep learning architectures on a limited memory budget

В данной работе рассматривается проблема получения нейронных сетей высокого качества при наличии ограничений на размеры модели на этапе ее применения. Подобного рода ограничения могут возникать, например, при использовании нейросетей в пользовательских приложениях, которые не должны занимать слишком много памяти на устройствах. В первой части работы развиваются методы разреживания нейросетей для рекуррентных архитектур и показывается, что аккуратный учет особенностей рекуррентности, большого входного словаря и гейтовой структуры позволяет добиться лучшего сжатия моделей и повышает их интерпретируемость. Во второй части работы исследуется зависимость качества ансамбля нейросетей от числа сетей в нем и их размеров и показывается, что при ограниченном бюджете по памяти ансамбль из нескольких сетей меньшего размера показывает более высокие результаты, чем одна большая нейросеть. В работе также выявляются степенные законы в поведении качества ансамбля, которые позволяют эффективно предсказывать оптимальное деление бюджета по памяти на несколько нейросетей.