Разработка универсального семантического энкодера текстов для русского языка

В данной выпускной квалификационной работе описана разработка универсального семантического энкодера текстов для русского языка. Основная цель исследования заключалась в создании модели, которая превосходит существующие аналоги по качеству семантического кодирования текстов. Работа включает обзор существующих методов кодирования текстов и используемых для этого данных, а также методов их валидации. Были рассмотрены подходы на основе моделей BERT, функции потерь, использование инструкций и дообучение под конкретные задачи. В рамках работы были разработаны и обучены модели на основе собранных и сгенерированных датасетов, включающих как положительные, так и отрицательные пары текстов. Особое внимание уделено созданию сложных отрицательных пар и валидации моделей на различных задачах, таких как оценка семантического сходства, классификация текстов и извлечение релевантной информации. В результате была создана модель, которая демонстрирует улучшенные результаты на целевых метриках по сравнению с аналогами, что подтверждается тестированием на нескольких бенчмарках.