Методы обнаружения текста, сгенерированного большими языковыми моделями

Стремительное развитие и распространение больших языковых моделей (LLM) делают необходимой разработку надежных и эффективных инструментов для детекции сгенерированного текста. Тексты, написанный с помощью LLM, грамматически корректны, обладают логикой и связностью, поэтому их обнаружение может быть нетривиальным. В данной работе производится сравнение известных алгоритмов детекции в различных сценариях, в том числе на out-of-domain данных. Показано, что ансамблирование повышает робастность базовых методов. Предложен и опубликован новый датасет, для которого были использованы state-of-the-art языковые модели: GPT4 Turbo, GPT4 Omni, Claude 3 Opus, Llama3, CommandR+, YandexGPT, GigaGhat — суммарно для датасета было сгенерировано 21000 примеров. Представлен новый метод для обучения детекторов, использующий Pairwise Ranking Loss, который показывает более высокое качество по сравнению со стандартным fine-tuning на бинарную разметку. Исходный код экспериментов опубликован.