Эмоции и модальность: опыт создания датасета эмоциональной речи с мультимодальной разметкой

В настоящее время результаты изучения эмоционального поведения с точки зрения психологии, социологии, лингвистики находят применение в прикладных областях, в частности в сфере человеко–компьютерного взаимодействия. Сможет ли компьютер научиться распознавать эмоции? На этот вопрос ищут ответ исследования из области аффективных вычислений, к которой и относится данная работа. В фокусе исследования лежит проблема мультимодальных эмоциональных данных. Основная цель исследования - разработать и апробировать процедуру сбора и разметки мультимодального датасета естественной эмоциональной речи на русском языке, который может быть применен для задач машинного обучения. В работе обсуждаются понятия «мультимодальность» и «эмоция», а также делается обзор различных подходов к созданию эмоциональных корпусов. Предлагается и апробируется процедура сбора данных, основанная на автобиографическом методе провоцирования эмоциональных состояний. Для разметки собранных данных предлагается система мультимодальной эмоциональной аннотации, которая подразумевает осуществление эмоциональной оценки в четырех условиях, в каждом из которых для восприятия разметчику доступно ограниченное число каналов коммуникации. С применением данных методов сбора и разметки создан датасет эмоциональных нарративов на русском языке. Эмоциональные данные, сопровожденные мультимодальной разметкой, проанализированы с точки зрения значимости разных модальностей для узнавания шести базовых эмоций разметчиками. Делается вывод о некоторых особенностях узнавания радости, грусти, злости, удивления, отвращения и страха и обсуждаются возможности применения собранного датасета в задачах автоматического распознавания эмоций.