Особенности оценивания чат-бота с LLM моделями на примере суммаризации контента телеграм-каналов.

ФИО студента: Дасаев Гарри -

Руководитель: Сироткин Александр Владимирович

Кампус/факультет: Санкт-Петербургская школа физико-математических и компьютерных наук

Программа: UX-аналитика и проектирование информационных систем (Магистратура)

Год защиты: 2024

За счет быстрого роста пользовательской базы Telegram, превышающей сейчас 800 миллионов человек, для пользователей становится актуальным вопрос обработки большого потока информации из подписок на Telegram-каналы. В рамках данного исследования демонстрируется пример разработки чат-бота, который обобщает контент из телеграм-каналов на основе больших языковых моделей и выдает ее пользователю. Помимо этого, в работе сделан акцент на вопросе того, как может быть оценено качество суммаризации контента в контексте LLM (больших языковых моделей). Как итог, представлены следующие артефакты - рабочий чат-бот для суммаризации контента из телеграм-каналов, рекомендации по сравнению качества работы LLM-модели с бенчмарком, а также создан и опубличен датасет постов из телеграм-каналов с представленными саммари.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ