Методы оценки качества ведения диалога виртуальным ассистентом

Одна из основных функций виртуального ассистента — поддержание диалога с пользователем на произвольные темы. В виртуальной ассистентке Алисе для этого используются диалоговые модели — большие языковые модели, дообученные на задачу генерации очередной реплики в беседе. В разработке этих моделей критически важно иметь способы измерения их качества. Самый точный метод оценки качества диалоговой модели —— сбор человеческих оценок её ответов. Однако сбор таких оценок требует затрат времени и ресурсов, поэтому актуальны и полностью автоматизированные приближённые методы оценки. Мы реализовали три метода оценки качества диалоговых моделей в Алисе на казахском языке: проект по сбору человеческих оценок качества ответов моделей с помощью краудсорсинга, оценка ответов моделей с помощью большой языковой модели с подводкой без дополнительного обучения и обучение бинарного классификатора качества ответов. Для оценки ответов моделей мы используем сложную бинарную метрику, учитывающую специфику диалогов с виртуальным ассистентом. Наша работа является первой, где решается задача оценки качества диалоговых моделей на казахском языке.