Использование мультиязычных больших языковых моделей для предсказания гипо-гиперонимичных отношений

ФИО студента: Лобанова Алина Вадимовна

Руководитель: Клышинский Эдуард Станиславович

Кампус/факультет: Факультет гуманитарных наук

Программа: Фундаментальная и компьютерная лингвистика (Бакалавриат)

Год защиты: 2024

В данной работе мы решали задачу предсказания гиперонимов мультиязычными языковыми моделями. Мы обучали большие генеративные языковые модели семейства LLaMa на различных датасетах. В качестве данных были использованы датасеты Wordnet и SemEval’18 (задание 9) для испанского, итальянского и английского языков. Испанский и итальянский были целевыми языками для задачи прогнозирования гиперонимов. В этом исследовании мы показываем, что небольшой объём “чистых” данных лучше подходит для дообучения, чем большой “шумный” датасет. Более того, мы обнаружили, что предварительное обучение модели на английском языке для решения задачи поиска гиперонимов повышает качество, в то время как использование моделей LLaMa, предварительно обученных на испанском или итальянском языке, напротив, прироста к качеству не даёт. Мы также достигли state-of-the-art результатов на тестовом датасете SemEval-а.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ