Оценка качества больших языковых моделей для разработки системы умного поиска в вопросно-ответной форме на базе знаний для сотрудников компании.

В данной работе исследуются способы оценки качества больших языковых моделей (LLM) в вопрос-ответной системе, построенной с использованием Retrieval-Augmented Generation (RAG). Для проведения исследования был собран обширный датасет, включающий вопрос-ответные пары страховых агентов, извлеченные из различных мессенджеров. Первоначально была построена система RAG с использованием фреймворка llama.index, после чего вопросы были пропущены через эту систему для получения ответов от модели. Основной задачей стала оценка качества полученных ответов. Для этого была проведена ручная разметка, а также использованы популярные метрики оценки, такие как ROUGE, BLEU, METEOR и BERTScore. Исследование показало, что наибольшее сходство с человеческой оценкой имеет именно BERTScore. Это позволило выдвинуть гипотезу, что использование нейросетевых метрик, в частности на базе LLM, для оценки качества вопрос-ответных систем даст наибольшее приближение к человеческой оценке. В рамках эксперимента были взяты различные модели LLM: GPT-3.5, GPT-4 и Mistral 7B. В работе использовался метод Low-Rank Adaptation (LoRA) для дообучения LLM в вопрос-ответной системе на специфическом наборе данных. Эффективность дообученной модели была оценена с использованием выбранной метрики. Результаты экспериментов показывают, что дообучение модели с помощью LoRA улучшает качество её ответов, а оценка качества вопрос-ответной системы с применения LLM не уступает человеческой и может использоваться для сокращения временного ресурса.