Автоматический инструмент оценки качества больших языковых моделей на русскоязычных запросах

Большие языковые модели (LLM) представляют собой область растущего исследовательского интереса из-за их широкого практического применения. Разработка набора задач для тестирования LLM лежит в основе понимания их возможностей. Важными характеристиками таких наборов являются компактность, репрезентативность и интерпретируемость. В многочисленных исследованиях предпринимались попытки определить стандарты измерения точности больших языковых моделей, в первую очередь с упором на сложные оценочные метрики. Однако существует недостаток стандартизированных тестов (бенчмарков), которые бы предоставляли быстрое и интерпретируемое представление о точности LLM и были разработаны специально для русского языка. Целью настоящего исследования является разработка автоматического инструмента для оценки точности больших языковых моделей на русскоязычных запросах. Настоящее исследование сочетает в себе методы NLP и лингвистический анализ на фонологическом, лексическом и синтаксическом уровнях. Исследование может дополнить современные подходы к оценке больших языковых моделей, предоставив относительно компактный и репрезентативный автоматический тест на русском языке, не прибегая к большому набору сложных задач.