Преодоление чувствительности к шаблонам в больших языковых моделях

В современной эпохе искусственного интеллекта большие языковые модели выделяются как чрезвычайно мощные инструменты для обработки и анализа текстовых данных в самых разных областях, от автоматизированного перевода до генерации текстов. Однако, несмотря на их многочисленные возможности, эти модели демонстрируют высокую чувствительность к выбору шаблонов ввода — предопределенных форматов или структур, используемых для создания запросов, что может привести к значительным колебаниям в качестве и ненадежности результатов. В данной статье подробно рассматривается проблема чувствительности к шаблонам в больших языковых моделях. Мы представляем новый подход, который позволяет существенно снизить эту чувствительность посредством смеси дистиляции ансамблей и техник текстовой аугментации, повышая тем самым устойчивость моделей. Результаты исследования подтверждают значительное улучшение устойчивости моделей.