Повышение скорости обучения языковых моделей с помощью оптимизации смеси передаваемых данных

В 2023 году пели Майкл Се, Хиеу Фам, Сюаньи Донг, Нань Ду, Ханьсяо Лю, Ифэн Лу, Перси Лян, Куок В. Ле, Тенгю Ма и Адамс Вэй Юй описали алгоритм, который изменяет вес домена с помощью минимаксной оптимизации (DoReMi) в статье "DoReMi: Оптимизация комбинаций данных Ускоряет предварительную подготовку языковой модели". Современные системы обработки естественного языка используют глубокие нейронные сети, для обучения которым требуется много ресурсов. За последние десять лет было разработано несколько методов для решения этой проблемы. В данной работе рассматривается влияние алгоритма DoReMi, использующего пример обучения модель BERT, поскольку она является одной из самых популярных моделей, обладает высокой точностью и относительно небольшими размерами для удобства проведения экспериментов. Было проведено исследование на тему генерации текста на русском языке, в ходе которого был получен результат по метрикам и скорости до и после применения алгоритма DoReMi. Основной целью данной работы является изучение изменений в метриках для оценки производительности нейронной модели с алгоритмом оптимизации и без него. Ключевые слова: обработка естественного языка, машинное обучение, алгоритм оптимизации, DoReMi, анализ метрик.