Улучшение процесса поиска текстов для задач генерации

В последние годы наблюдается активное развитие LLM-моделей, таких как GPT-4, LLama и Gemini. Эти модели демонстрируют выдающиеся способности в генерации полез- ных текстов, однако они также сталкиваются с проблемой галлюционирования — генерации текстов, не соответствующих действительности. Для решения этой проблемы применяется RAG-система, которая позволяет LLM ге- нерировать ответы на основе полезной информации, найденной другой моделью — retrieval- моделью. В данной работе был разработан и исследован новый метод обучения retrieval- моделей на русскоязычном корпусе текстов. В результате была создана модель, демонстрирующая более высокое качество по срав- нению с аналогами от OpenAI и классическим алгоритмом BM25. Кроме того, проведённые исследования процесса обучения такой модели позволили получить более глубокое понима- ние механизмов обучения LLM и способствуют дальнейшим открытиям в этой области.