Развитие методов компрессии больших языковых моделей и их автоматизация

Большие языковые модели (англ. Large Language Models, сокр. LLMs) очень актуальны в задачах, связанных с генерацией текста: обобщение документов, тематико-ориентированные диалоговые системы, машинный перевод, кодогенерация. Подобные архитектуры быстро получили широкое распространение в индустрии и повысили требования практически к любым диалоговым системам и к сервисам, так или иначе занимающимся обработкой естественного языка. Эффективность таких моделей обусловлена большим числом (миллиарды) параметров топологии, а также обучением на внушительных корпусах разнородных текстовых данных разной направленности, что и позволяет им показывать впечатляющие обобщающие способности одновременно на множестве задач. Однако есть и обратная сторона: LLMs требуют огромных вычисли- тельных ресурсов в виде как минимум нескольких современных графиче- ских ускорителей (англ. Graphics Processing Units, сокр. GPUs), оснащенных достаточным количеством оперативной памяти (десятки Гб). Более того, наличие необходимого оборудования может не гарантировать необходимый уровень задержки и пропускной способности, что может негативно сказаться на пользовательском опыте и в общем случае затруднит применение нейросети. Компрессия - один из наиболее фундаментальных методов снижения потребления ресурсов и улучшения производительности больших языковых моделей. При таком подходе благодаря уменьшенному потреблению памяти при использования LLM могут быть задействованы меньше GPU, а благодаря вычислениям с пониженной точностью (например, матричные умножения int8 x int8) может быть существенно увеличена пропускная способность.