Применение разреженных подструктур для мета-обучения нейронных сетей

Современным моделям глубокого обучения предъявляются каждый день все более и более экстремальные требования. Одним из ключевых свойств интеллекта, как такового является способность к непрерывному обучению. Однако, до недавнего времени считалось что нейронные сети не способны обучаться решению новой проблемы сохраняя способность к решению изученных ранее задач. Причина этому - проблема известная как катастрофическое забывание, несколько лет назад была преодолена, и с тех пор усилились попытки обучать нейросетевые модели решению нескольких задач одновременно. В другом недавнем исследовании было продемонстрировано наличие в плотных моделях нейронных сетей разреженных подструктур объема менее $15\%$ от оригинальной сети, способных обучаться и решать задачи не хуже чем их плотные родители, оказываясь значительно эффективнее по объему вычислений и требуемой физической памяти. Исходя из предположения о наличии в нейронных сетях описанных разреженных подструктур для нескольких задач одновременно, целью настоящей работы является разработка алгоритма последовательного обучения с их применением.