Изучение мультилингвальных и кросс-лингвальных свойств больших языковых моделей

ФИО студента: Букашкин Антон Денисович

Руководитель: Масютин Алексей Александрович

Кампус/факультет: Факультет компьютерных наук

Программа: Финансовые технологии и анализ данных (Магистратура)

Год защиты: 2024

В данной работе исследуются кросс-лингвальные и мультилингвальные свойства больших языковых моделей, в частности их способность понимать и отвечать на вопросы на языках, недостаточно представленных в обучающих данных. Мы рассматриваем три большие языковые модели (LLaMA2, Mistral и Gemma) и анализируем их веса внимания, чтобы выявить закономерности и механизмы, которые позволяют им отвечать на вопросы на нескольких языках. Наши результаты дают представление о поведении этих моделей и проливают свет на проблемы интерпретации их многоязычных возможностей, выделяя конкретные головы внимания, отвечающие за понимание языка. Результаты этого исследования имеют значение для разработки более точных и эффективных языковых моделей, а также для их применения в различных областях.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ