Мультимодальное распознавание эмоций на основе облегчённых нейронных дескрипторов

Распознавание эмоций - важнейший аспект взаимодействия человека и компьютера, имеющий широкое применение: от психологического анализа и здравоохранения до современных систем безопасности. Его значение заключается в способности точно интерпретировать человеческие эмоции, что необходимо для разработки более эмпатичных и интуитивно понятных пользовательских интерфейсов. Данная диссертация посвящена задаче классификации выражений (EXPR) в контексте конкурса ABAW5. Конкурсы ABAW (Affective Behavior Analysis in-the-wild) сыграли ключевую роль в развитии области распознавания эмоций, предоставляя масштабные наборы данных, такие как Aff-Wild2, и способствуя разработке инновационных решений. Эти конкурсы внесли значительный вклад в исследования и практические приложения в области аффективных вычислений. Основными задачами данного исследования являются: - Обзор литературы. Провести всесторонний обзор литературы, сосредоточившись на последних инновациях в области распознавания эмоций, особенно тех, которые связаны с мультимодальными данными и глубоким обучением; - Разработка модели мультимодального распознавания эмоций. Разработка мультимодальной модели распознавания эмоций, объединяющей визуальные, слуховые и текстовые данные, с использованием облегченных нейронных дескрипторов для повышения эффективности вычислений и масштабируемости модели; - Экспериментальные исследования. Провести экспериментальные исследования для оценки эффективности разработанной модели в сравнении с установленными эталонами. Задача заключается в разработке системы, способной точно интерпретировать широкий спектр человеческих эмоций в различных условиях реального мира и при этом работать в условиях ограниченных вычислительных ресурсов.