Преодоление предвзятости: изучение эффекта якорения в разметках на краудсорсинговых платформах

Краудсорсинг — популярный способ разметки данных для современных моделей машинного обучения, в том числе для больших языковых моделей (LLMs). Почти все методы агрегации краудсорсинговых данных основаны на методе максимального правдоподобия, который включает в себя предположение о статистической независимости ответов одного человека на разные задания. В этой работе я экспериментально проверяю справедливость этого предположения и тестирую краудсорсинговые данные на наличие эффекта якорения — известного когнитивного искажения, при котором ответы на будущие вопросы зависят от ответов на предыдущие. Эксперименты на существующих датасетах (Toloka IMDB-WIKI) и новых данных показывают, что популярном дизайне краудсорсинговых заданий эффект якорения может оказывать существенное влияние на качество данных. С другой стороны, использование альтернативного фреймворка попарного сравнения позволяет нивелировать эффект якорения и повысить качество данных.