Влияние выбора формата демонстраций для контекстуального обучения больших языковых моделей

В последние годы большие языковые модели (Large Language Models, LLM) получили широкое распространение и применяются для многих классов задач. В частности, этому поспособствовало их способность решать новые задачи, опираясь на несколько предоставленных примеров. Такой метод получил название ``контекстуального обучения'' (in-context learning) или ``обучения на малом числе примеров'' (few-shot learning). Однако исследователи и пользователи часто упускают один из важных аспектов — формат, в котором примеры демонстрируются модели. В данной работе было изучено влияние формата демонстраций в контекстуальном обучении на точность классификации. Проанализированы 23 больших языковых модели, размером от 770 миллионов до 70 миллиардов параметров, на 4 датасетах, часто используемых для измерения качества новых методов подбора примеров для контекстуального обучения. В работе показано, что неоптимальный выбор шаблона может ухудшать точность до уровня случайного угадывания, и, как следствие, принятый на данный момент способ измерения качества может приводить к неверной интерпретации результатов. Предложен механизм снижения нестабильности результатов — ``ансамбль шаблонов'', агрегирующий предсказания с несколькими шаблонами, — и продемонстрирована его эффективность.