Оценка эффективности методов сжатия моделей для задач NLP

В данной работе исследуется влияние методов сжатия моделей, в частности квантования, на различные задачи обработки естественного языка (Natural language processing, NLP) с использованием самых современных моделей, таких как BERT, RoBERTa, Mistral и Mixtral. Различные методы квантования, включая bitsansbytes, QDQBERT, HQQ, GPTQ и AQLM, изучаются для сжатия этих моделей при сохранении производительности в разных задачах. Кроме того, в исследовании оценивается эффективность извлечения знаний для сжатия моделей. Эксперименты проводились с тремя различными задачами NLP: распознавание именованных объектов (Named Entity Recognition, NER) с использованием набора данных CoNLL-2003, классификация с использованием набора данных Emotions и получение ответов на вопросы (Question answering, QA) с использованием набора данных SQuAD2.0. В частности, в исследовании оценивается производительность сжатых моделей по сравнению с их полноразмерными аналогами в этих задачах. Для BERT и RoBERTa применяется метод сжатия QDQBERT, в то время как у Mixtral и LLaMA 3 70B используются сжатые AQLM версии. Кроме того, в исследовании сравнивается производительность bitsansbytes, HQQ и AutoGPTQ для сжатия моделей Mistral 7B и LLaMA 3 8B. Результаты подчеркивают эффективность методов квантования в уменьшении размера модели и сложности вычислений при сохранении показателей производительности, специфичных для конкретной задачи. Это исследование дает ценную информацию об оптимизации эффективности моделей для задач NLP, удовлетворяя растущий спрос на ресурсосберегающие модели в реальных приложениях.