Ускорение генерации архитектуры трансформер за счет использования контекстуальной разреженности

Контекстуальная разреженность — это метод, при котором используется факт того, что только часть параметров модели активируется в ответ на конкретные входные данные. Это предлагает перспективный путь для снижения вычислительных затрат при сохранении высокого уровня производительности. Это исследование посвящено контекстуальной разреженности в китайских языковых моделях большого масштаба (LLM), и как это может повысить эффективность производительности без ухудшения качества генерации. Поскольку разреженность активации — это недавно открытый подход к ускорению вывода, было проведено недостаточное исследование охвата этого метода для различных LLM. Цель состоит в том, чтобы выявить, как разреженность можно стратегически использовать для повышения эффективности вывода в существующих предварительно обученных LLM. Наши результаты показывают преимущества этого метода и его применимость в китайских LLM. Также, было проведено дальнейшее исследование перспективных подходов для ускорения процесса генерации и внедрения этих моделей для их развертывания на периферийных устройствах.