Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

В связи с бурным развитием языкового моделирования и языковых моделей на основе архитектуры «Трансформер», особую актуальность приобретают вопросы, связанные с оценкой языковых моделей и того, насколько хорошо они понимают естественный язык. Возникает необходимость в разработке методов количественного оценивания языковых моделей, а также в разработке систем тестов и инструментов, с помощью которой можно оценивать те или иные аспекты языкового моделирования и сравнивать модели между собой. В данном исследовании предложен метод оценивания устойчивости языковых моделей в задаче распознавания причинно-следственных связей. В работе разработана методология для мультиязычного оценивания моделей на пяти языках и проведено оригинальное исследование стабильности мультиязычной модели BERT в задаче распознавания причинно-следственных связей. Помимо этого, в рамках создания первого русскоязычного набора тестов на понимание естественного языка в работе представлен фреймворк для оценивания языковых моделей на данном наборе тестов, с помощью которого проведено оригинальное исследование по оцениванию ряда предобученных моделей архитектуры BERT для русского языка.

В области обработки естественного языка эталонное тестирование (англ. benchmarking) является общепринятой методологией оценки обобщающей способности современных языковых моделей на основе архитектуры «Трансформер». Однако существующие бенчмарки разработаны для малого количества языков и используют методы агрегации результатов, не соответствующие многообразию критериев оценки. В данной работе впервые предложены бенчмарки для оценки языковых моделей на задачах понимания русского языка и новые методы агрегации результатов эталонного тестирования, учитывающие предпочтения конечного пользователя. В работе представлены результаты эталонного тестирования более ста языковых моделей и их конфигураций относительно уровня человека в различных экспериментальных постановках. Предложенные бенчмарки, кодовая база, открытые рейтинги систем, проекты по оценке людей на рассматриваемых задачах и другие материалы находятся в открытом доступе.

В последние годы нейронные сети достигли высокого качества в задачах обработки сложно структурированных данных: изображений, текстов, звука и видео. Успех нейронных сетей в этих задачах, в числе прочего, обосновывается возможностью выбора архитектуры нейросети, учитывающей особенности конкретного вида данных. В данной работе исследуются возможности адаптации рекуррентных нейронных сетей и архитектуры "Трансформер" для обработки исходного кода программ, обладающего такими свойствами, как четкая синтаксическая структура, наличие понятия переменных и большие словари идентификаторов. В частности, разработан механизм динамических векторных представлений для обработки переменных в рекуррентных нейронных сетях, проведено эмпирическое исследование методов учета синтаксической структуры кода в архитектуре "Трансформер" и предложена простая в реализации техника предобработки кода для обработки редких идентификаторов. Разработанные методы и проведенные эмпирические исследования позволяет повысить качество решения ряда прикладных задач обработки исходного кода: поиск и исправление неправильно использованной переменной в коде, именование функций и автодополнение кода.

В настоящее время область обработки естественного языка напрямую связана с большими предобученными языковыми моделями, работающими на базе архитектуры Трансформер, которые превзошли все существующие до этого методы решения задач обработки естественного языка. Однако, подобные результаты связаны, в первую очередь, с хорошей обобщающей способностью этих моделей, обученных на больших корпусах текстов на естественном языке, а не с их пониманием лингвистической информации. Исследования показывают, что обеспечение моделей дополнительными знаниями о языке, которыми обладают лингвисты, может улучшить качество решения ряда сложных задач обработки естественного языка, например, позволит более точно находить ответы на вопросы в тексте, генерировать более разнообразный и логически-связанный текст. В данной работе исследуется возможность добавления информации о дискурсивной структуре текста в предобученную языковую модель BERT за счет обучения модели на новой модифицированной задаче маскированного языкового моделирования, а также за счет добавления в модель дискурсивно-обусловленного механизма внимания. Также в диссертации предлагается новый подход для интерпретации результатов работы языковых моделей посредством анализа дискурсивной структуры текста. Проведенные экспериментальные исследования показали, что дискурсивно-обогащенные модели превосходят стандартные модели при решении задач оценки аргументированности текстов, понимания прочитанного текста, а также извлечения текстовых обоснований для объяснения результатов работы моделей.