Улучшение качества больших GPT-подобных языковых моделей

ФИО студента: Иванова Алеся Александровна

Руководитель: Мещанинов Вячеслав Павлович

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладная математика и информатика (Бакалавриат)

Оценка: 10

Год защиты: 2024

Разработка языковых моделей, способных давать полные, достоверные, полезные на практике и безопасные ответы на запросы пользователей, является актуальной задачей машинного обучения. Одна из таких моделей — YandexGPT, разрабатываемая компанией “Яндекс”. В работе предложены способы улучшения качества рассматриваемой модели при помощи добавления в обучающую выборку данных специального формата, объединения нескольких стадий обучения в одну и использования дополнительной информации при формировании обучающей выборки. Улучшено качество модели на задачах, требующих заданный формат ответа. Реализована система для автоматического обнаружения и устранения утечек данных из тестовой выборки в обучающую. Полученные результаты подтверждены экспериментальным исследованием, проведенным в рамках стажировки в компании “Яндекс”.

Текст работы (работа добавлена 20 мая 2024 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ