Улучшение субквадратичных языковых моделей с использованием обучаемых функций ядра

Улучшение качества работы субквадратичных архитектур для языковых моделей имеет решающее значение в быстро развивающейся области обработки естественного языка. Текущие инновации, включая модели пространства состояний (SSM), изначально показали производительность, превосходящую трансформеры в задачах языкового моделирования. Однако эти модели оказались не так эффективны в задаче In-Context Learning - области, в которой традиционно лидирует трансформер. Модель Based представляет собой гибридную архитектуру, сочетающую сверточные сети и линейный механизм внимания с ядром, основанным на разложении экспоненты в ряд Тейлора. Данная архитектура стала сильным конкурентом трансформеру в задаче In-Context Learning. В нашей работе мы представляем элегантное изменение ядра Based, которое усиливает его способности к обучению в контексте, оцениваемые с помощью задачи многозапросного ассоциативного запоминания (MQAR) и общей способности к моделированию языка, что продемонстрировано на датасете Pile.