Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Предлагаемая диссертация посвящена разработке методик лингвистической интерпретации и оценки векторных моделей слов для русского языка. Векторные модели слов и текстов являются базовой компонентой современных механизмов автоматического анализа текста и задействованы в широком ряде задач, как прикладных, так и теоретических, в частности, в задаче статистического моделирования языка. В качестве основного инструмента оценки качества такого моделирования языка и общей интеллектуальности моделей выступают корпуса языковых тестов. Корпуса являются самым доступным способом обучения векторных моделей и одновременно обладают высокой вариативностью, необходимой для формулировки интеллектуальных задач. В работе приводится обзор актуальной методологии обучения и тестирования интеллектуальных систем, в которых векторные модели слов и текстов являются объектами исследований. Впервые представляется набор корпусов и инструментов оценки для русскоязычных векторных моделей слов и текстов. Набор корпусов формирует т.н. бенчмарк, то есть позволяет выстроить общий рейтинг качества векторных моделей для русского языка одновременно на множестве задач. К настоящему времени с помощью представляемого бенчмарка было оценено 1530 моделей. Для каждой из них проведена оценка качества выполнения интеллектуальных задач и подверженности различным типам ошибок, а также устойчивости модели к разнообразным языковым явлениям.