Разработка методов долгосрочной памяти для больших языковых моделей при помощи методов обучения с подкреплением

ФИО студента: Белова Юлия Дмитриевна

Кампус/факультет: Санкт-Петербургская школа физико-математических и компьютерных наук

Программа: Машинное обучение и анализ данных (Магистратура)

Год защиты: 2024

В данном исследовании рассматривается проблема работы больших языковых моделей (LLM) с длинными текстами, обусловленная квадратичной сложностью механизма внимания в архитектуре трансформера. Эта проблема особенно актуальна для областей, требующих анализа больших объемов текстовой информации, таких как медицина, наука и диалоговые системы. Исследование предлагает новый подход к формированию долгосрочной памяти в LLM с использованием обучения с подкреплением (RL), который ранее успешно применялся в других областях, но мало исследован для данной задачи. Структура работы включает обзор предметной области, анализ существующих решений, описание предложенного метода и результаты экспериментов.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ