Эффективные нейросетевые алгоритмы мультимодального распознавания эмоций

Эта диссертация исследует многомодальное распознавание эмоций и предлагает эффективный ансамбль нейронных сетей, который использует выражения лица и речевые шаблоны для повышения точности в реальных условиях. Будучи мотивированы ограничениями одномодальных подходов, мы исследуем слияние визуальной и аудио информации, стратегия, широко признаваемая за ее потенциал схватить тонкие и сложные эмоциональные состояния. Тщательный обзор литературы показывает возрастающее значение глубоких техник обучения для многомодального слияния и временного моделирования. Наша предложенная модель включает в себя ансамбль предварительно обученных нейронных сетей для извлечения признаков из видео, затем раннего слияния с Transformer encoder или MLP. Чтобы обеспечить устойчивость к изменяющимся частотам кадров и вычислительную эффективность, мы реализуем сглаживание и адаптивную технику частоты кадров на основе множественных коррекций тестирования. Это позволяет нам динамически регулировать уровень детализации нашего анализа, находя баланс между точностью и вычислительной стоимостью. Мы проводим эксперименты на наборе данных Aff-Wild2, крупномасштабном наборе данных видео, демонстрирующих спонтанные эмоции. Результаты показывают, что наша предложенная модель, в частности наш многомодальный ансамбль со слиянием MLP, превосходит несколько существующих методов, особенно в оценке классификации эмоций. Мы также демонстрируем эффективность техник сглаживания, таких как среднее и медианное фильтрование, в улучшении стабильности и точности прогнозов эмоций на уровне кадра. Результаты этой диссертации способствуют продвижению технологии распознавания эмоций, демонстрируя силу многомодального слияния, временного моделирования, сглаживания и адаптивных техник частоты кадров. Разработанная модель обладает значительным потенциалом для применения во взаимодействии человека и компьютера, оценке психического здоровья и других областях, где понимание эмоциональных состояний имеет решающее значение.