Исследование свойств больших языковых моделей: устойчивость и непрерывная интерпретация плотных облаков точек

ФИО студента: Зубрей Александр Валерьевич

Руководитель: Наумов Алексей Александрович

Кампус/факультет: Факультет компьютерных наук

Программа: Математика машинного обучения (Магистратура)

Год защиты: 2024

В этой статье исследуется устойчивость больших языковых моделей к шуму, добавленному к эмбеддингам. Такие эмбеддинги можно так же интерпретировать как токены, случайно выбранные из непрерывного вероятностного пространства, в то время как изначальные эмбеддинги представляют собой дискретное облако точек. Эксперименты подтверждают что существующие модели способны работать с небольшим уровнем шума, и небольшое дополнительное обучение повышает их устойчивость. Полученные результаты открывают новый взгляд на структуру языковых моделей и их эмбеддингов.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ