Оценка интенсивности эмоциональных реакций по видео

В настоящей выпускной квалификационной работе рассматривается проблема оценки интенсивности эмоциональных реакций по видеоматериалам. На сегодняшний день проблема эмоциональной классификации стоит особенно остро, что доказывается ежемесячными всемирными соревнованиями и публикациями. Однако, сложность данной проблемы обусловлена тем, что большая часть популярных и доступных наборов данных по данной тематике составлена в подконтрольных условиях с выставленным светом и «наигранными» эмоциями, что делает решения, обученные на таких наборах, не столь применимыми в реальных ситуациях со спонтанным поведением индивидуума и в неконтролируемых условиях. Целью данной работы является разработка алгоритма оценки интенсивности эмоциональных реакций на основе SOTA-решений как в области исследования, так и в смежных областях. В ходе исследования автором были проанализированы релевантные решения в сфере оценки интенсивности, разработанные в рамках пятого всемирного конкурса Affective Behavior Analysis in-the-wild в задаче Emotional Reaction Intensity estimation (ERI). В основе разработанного решения лежат принципы работы с данными с временной структурой, использование кодировщики на основе трансформеров, методы ансамблирования моделей в задачах регрессии и т. д. Также в рамках исследования был разработан прототип приложения, позволяющий протестировать разработанную модель на видеоматериалах пользователя.