Исследование влияния оптимизации инференса LLM на качество LLM

Экспоненциальный рост больших языковых моделей (LLMs) в последние годы привел к значительным достижениям в обработке естественного языка (NLP). Эти модели, обладающие беспрецедентной способностью понимать и генерировать текст, схожий с человеческим, демонстрируют выдающиеся результаты в широком спектре приложений. Однако их увеличивающийся размер и сложность создают значительные проблемы в отношении вычислительных требований, потребления памяти и скорости вывода. В этом дипломе рассматриваются три метода ускорения вывода: квантование, flash-attention и deep-speed. Квантование уменьшает точность представления данных в нейронных сетях, тем самым снижая вычислительные затраты и минимизируя использование памяти. Flash-attention оптимизирует доступ к памяти и вычислительную эффективность, в то время как deep-speed использует техники слияния ядер и оптимизации памяти для повышения производительности модели. В исследовании анализируется влияние этих стратегий оптимизации на точность и производительность модели с использованием популярных моделей с открытым исходным кодом Llama2-7b, Mistral-7b и Mixtral-8x7b. Результаты работы дают представление о компромиссах между эффективностью и точностью, предлагая всестороннюю оценку этих методов на бенчмарках MMLU и RUMMLU. Эта работа направлена на то, чтобы сделать крупные языковые модели более доступными и эффективными.