А где смеяться: действительно ли нейросети справляются с задачей humor detection

Юмор, как и многое в психике человека, трудноформализируемая категория. Многие задачи, которые не получается решить с помощью чётких алгоритмов, пробуют решать с помощью глубокого обучения нейросетевых моделей. Обнаружение юмора (humor detection) — одна из таких задач. Главная трудность при обучении моделей для бинарной классификации текстов — противопоставить юмористические тексты в датасете похожими на них неюмористическими. Мы создали датасет A_HDE (Advanced Humor Detection Examples) с текстами на русском языке для обучения и тестирования алгоритмов обнаружения юмора. Датасет состоит из 1608 юмористических текстов и их минимально изменённых 1590 неюмористических версий. На основе современных работ в психологии и лингвистике мы ограничили круг юмористических механизмов, тексты с которыми мы включали в датасет. Модели RuBERT и Conversational RuBERT, обученные на A_HDE и FUN [Blinov et al. 2019], показали низкие результаты на тестовой части A_HDE (Matthew’s Correlation Coefficient < 0,199). Мы обнаружили, что модель Conversational RuBERT распознавала один из юмористических механизмом — Garden Path [Dynel 2012] — лучше, чем остальные. Датасет не подходит для полноценного обучения, но может быть использован как бенчмарк для humor detection моделей или для исследований интерпретируемости нейросетей.