Работа с большими контекстами в больших языковых моделях (на русском языке)

Область исследований больших языковых моделей активно развивается. Одним из направлений является расширение контекстного окна модели. Другим направлением является улучшение качества модели для конкретного языка. Данная работа совмещает в себе два эти направления и решает задачу суммаризации. Эта задача была выбрана, поскольку она является важной для бизнеса и модели уже умеют с определенным качеством генерировать суммаризации текстов вместо людей. Цель работы: исследование возможности адаптации больших языковых моделей для суммаризации длинных текстов на русском языке. Для достижения этой цели решаются следующие задачи: определяются метрики качества результата, собираются данные с длинными текстами, подготавливаются модели и производится оценка их качества. В результате работы были разработаны метрики качества суммаризации для дипломов и книг (аналоги MMLU), собрано более 10 тысяч дипломов СПБГУ за последние 8 лет и обучено пять моделей методами LoRA и LongLoRA. Проведен анализ результатов обученных моделей и даны рекомендации по дальнейшей работе. Результаты работы выложены в открытый доступ на GitHub, Hugging Face и Яндекс Диск.