Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

В связи с бурным развитием языкового моделирования и языковых моделей на основе архитектуры «Трансформер», особую актуальность приобретают вопросы, связанные с оценкой языковых моделей и того, насколько хорошо они понимают естественный язык. Возникает необходимость в разработке методов количественного оценивания языковых моделей, а также в разработке систем тестов и инструментов, с помощью которой можно оценивать те или иные аспекты языкового моделирования и сравнивать модели между собой. В данном исследовании предложен метод оценивания устойчивости языковых моделей в задаче распознавания причинно-следственных связей. В работе разработана методология для мультиязычного оценивания моделей на пяти языках и проведено оригинальное исследование стабильности мультиязычной модели BERT в задаче распознавания причинно-следственных связей. Помимо этого, в рамках создания первого русскоязычного набора тестов на понимание естественного языка в работе представлен фреймворк для оценивания языковых моделей на данном наборе тестов, с помощью которого проведено оригинальное исследование по оцениванию ряда предобученных моделей архитектуры BERT для русского языка.

В области обработки естественного языка эталонное тестирование (англ. benchmarking) является общепринятой методологией оценки обобщающей способности современных языковых моделей на основе архитектуры «Трансформер». Однако существующие бенчмарки разработаны для малого количества языков и используют методы агрегации результатов, не соответствующие многообразию критериев оценки. В данной работе впервые предложены бенчмарки для оценки языковых моделей на задачах понимания русского языка и новые методы агрегации результатов эталонного тестирования, учитывающие предпочтения конечного пользователя. В работе представлены результаты эталонного тестирования более ста языковых моделей и их конфигураций относительно уровня человека в различных экспериментальных постановках. Предложенные бенчмарки, кодовая база, открытые рейтинги систем, проекты по оценке людей на рассматриваемых задачах и другие материалы находятся в открытом доступе.