«Когда у тебя много дел, которые надо сделать, ты находишь время для всего»

Егор Чураев специализируется на нейронных сетях. В интервью проекту «Молодые ученые Вышки» он рассказал о своей программе, которая умеет определять эмоции и вовлеченность слушателей онлайн-конференций, поездке в Бразилию и преимуществе волейбола перед скалолазанием.

Как я начал заниматься наукой

В бакалавриате я учился на кафедре прикладной математики Нижегородского политеха, и там с третьего курса приветствовалась научная деятельность. Я занимался исследованием внутренних волн, математическим моделированием и численными методами. А в магистратуре мы разрабатывали робота — я с ним даже съездил в экспедицию на Сахалин.

Я думал и в аспирантуру поступать в политех, но не сложилось. И к лучшему, потому что внутренние волны — не совсем то, с чем я бы хотел связать свою научную работу, поскольку это никак не пересекается с моей профессиональной деятельностью. Это было в 2016 году.

Через два года я сменил работу: из компании Intel перешел в небольшой стартап. Но мне там стало скучно: я занимался не совсем теми вещами, которые мне были интересны. Тогда различные технологии машинного обучения были на пике, и я подумал, что неплохо было бы получить знания в этой сфере, тем более что это пригодилось бы мне и в работе. И решил обратиться к лучшим специалистам.

Я был наслышан про Андрея Владимировича Савченко. Написал ему, спросил, можно ли поработать с ним в аспирантуре. Он сказал, что не может сказать точно, поскольку у него уже есть кандидаты. И я тоже сомневался, поскольку заранее не знал, насколько учеба в аспирантуре будет актуальной и интересной, а время на нее точно понадобится.

Так что мы решили начать с проекта для Huawei — я его запустил, а потом курировал несколько лет. Так все и закрутилось. Недавно я сдал последний экзамен в аспирантуре, осталось только защитить кандидатскую диссертацию. Текст сейчас на этапе исправлений и комментариев.

Что я изучаю

Тема моей кандидатской диссертации — «Персонализированные модели распознавания психоэмоционального состояния и вовлеченности лиц по видео». Я также разработал программное обеспечение, которое позволяет в режиме реального времени отслеживать изменения психоэмоционального состояния и вовлеченности. Наша цель — чтобы модели работали эффективно на широком спектре устройств и при этом давали полезную обратную связь.

Преподаватели, которые ведут занятия онлайн, не всегда могут определить вовлеченность студентов — насколько внимательно они слушают лекцию, интересно ли им. А от уровня вовлеченности студентов зависит, насколько хорошо будет усвоен материал. Поэтому получение обратной связи в режиме реального времени позволяет значительно повысить качество онлайн-лекций, потому что можно адаптировать материал под слушателя.

Это задача в области компьютерного зрения и машинного обучения. Для обучения модели мы используем наборы данных, которые были размечены профессионалами в области психологии. Вовлеченность детектировать легче: если человек сосредоточенно смотрит в экран, значит, он вовлечен. А с эмоциями сложнее: их достаточно много, и некоторые довольно близки между собой. Например, раздражение и отвращение сложно бывает различить только по картинке.

Как я работал над диссертацией

Модели, которые мы задействуем в работе, были разработаны моим научным руководителем. Они используются для определения эмоций на картинке. Андрей Владимирович предложил мне использовать свой набор данных и на нем обучить модель, чтобы повторить то, что было сделано в его работах.

В результате я нашел публичный набор данных и получил на нем высокую точность определения эмоций у человека — чуть ли не 98%. Сначала мне казалось, что это правильно, но потом мы с научным руководителем поняли, что была ошибка в разбиении данных при обучении.

Один и тот же человек мог попасть и в обучающую, и в проверочную выборку, но с разными эмоциями. И за счет того, что модель знала, каким образом я, например, выражаю злость, ей уже было проще определить, как я выражаю радость.

Во многих работах, которые были сделаны на этом наборе данных, были такие же проблемы: один и тот же человек мог попасть в обе выборки. Мы начали раскручивать эту проблему и применили уже персонализированный подход.

Он устроен так: допустим, мы знаем, что в нашей группе десять студентов, и можем для каждого студента собрать небольшой набор данных — по пять видео на каждую эмоцию. И на них дообучить нашу модель. У нас получится для каждого человека персонализированная модель, которая будет с большей точностью определять его эмоции.

Не все изначальные идеи в итоге были реализованы. Например, мы хотели применить мультимодальный подход — использовать не только видеоканал, но и аудио. Но к нам пришел Сбербанк с запросом на определение вовлеченности слушателей, мы сосредоточились на этом и так и не дошли до определения эмоций по аудио.

О программе EngagementEstimator

Моя программа, которая умеет определять вовлеченность и эмоции, называется EngagementEstimator, она лежит на GitHub. Это демонстрация алгоритмов, а уже эти алгоритмы могут адаптироваться подо что угодно. Например, сейчас Центр искусственного интеллекта НИУ ВШЭ разрабатывает свой фреймворк, объединяющий исследования различных организаций, которые входят в этот центр. Он нужен, чтобы демонстрировать все изобретения, имеющие отношение к центру. Алгоритм, реализованный в нашей программе, перетащили в этот фреймворк, он сейчас работает и там.

Чем я горжусь

Я был рад съездить этим летом за счет ВШЭ на конференцию в Бразилию и выступить там с докладом. На основании нашего исследования мы написали хорошую статью, которую приняли на конференцию уровня CORE А.

Но мне самому сложно оценивать свои результаты. Для меня какая-то часть моей работы выглядит простой, а далекому от машинного обучения человеку это, наверное, удивительно: как это компьютер может определить эмоцию человека?

Хотя, когда ты понимаешь, как это работает, это не кажется чем-то сложным. Мы обучили модель, и она стала давать неплохие результаты. Мы увидели проблему и предложили персонализированный алгоритм. Основные тезисы, которые выносятся у меня на защиту, — это как раз персонализированные алгоритмы. Один — для эмоций, другой — для вовлеченности. И еще мы предложили алгоритм, каким образом мы можем на лету дообучать модель — неважно, под вовлеченность или под эмоции. Мы в процессе реального времени собираем видеоданные и просим пользователя оценить предсказания модели. Он может их скорректировать, мы это запоминаем, дообучаем модель и в следующий раз даем более высокую точность предсказания. Это три основных алгоритма, которые были предложены. Можно сказать, что это научное достижение.

Как мне помогает заниматься наукой моя работа

Сейчас я с двух сторон занимаюсь нейронными сетями. Со стороны ВШЭ учусь обучать нейронные сети, чтобы они выдавали интересующий нас результат. А со стороны работы делаю так, чтобы эти нейронные сети работали максимально быстро и эффективно на целевом устройстве.

Сначала Вышка помогала мне разбираться в устройстве нейронных сетей, в том, какие есть операторы. А когда мне уже надо было запускать модели, работа помогала тем, что я знал, как запустить модель эффективно, находил наилучший вариант, как получить нужную производительность.

Раздел математики, которым я занимаюсь

Называется глубокое обучение. Мы используем сверточные нейронные сети. Допустим, у нас есть картинка, и мы ее по слоям анализируем, находим важные детали. Например, если мы хотим определить, котик перед нами или нет, мы фиксируем, где у него уши, нос, усы и так далее. Постепенно уходим все глубже, находим эти паттерны и, проанализировав картинку, уже даем предсказание — котик это или собачка.

После защиты кандидатской диссертации я хочу продолжить сотрудничество с университетом и моим научным руководителем. Моя профессия ценится в Вышке, и мой начальник на работе меня поддерживает и заинтересован в сотрудничестве с ВШЭ. Мы ведем студентов в проектах, делали уже несколько ВКР, связанных не только с моей исследовательской деятельностью, но и с профессиональной. Мы читаем курсы в онлайн-магистратуре — одним словом, Вышка и работа взаимно дополняют друг друга.

Как я стал разработчиком

Я начал программировать еще до начала уроков информатики в школе. Спасибо за это моему отцу. Нам с братом-близнецом Ильей он говорил, что если мы хотим поиграть в компьютер, то сначала надо полчаса позаниматься чем-то полезным. Мы с братом по таймеру засекали, кто сколько сидит за компьютером, чтобы один другого не пересидел. И программирование затянуло: в школе я разработал сайт школы, в университете с первого курса начал ходить на семинары от Intel. Как только появилась возможность, я сразу устроился к ним. Брат тоже стал разработчиком. Мы с ним вместе были в Intel, а сейчас он работает в Сбербанке.

С кем из ученых я хотел бы встретиться

В школе мне очень нравилась физика, так что с Альбертом Эйнштейном. А если говорить не только об ученых, я бы хотел встретиться с Линусом Торвальдсом (создатель ядра Linux) или Бьерном Страуструпом (автор языка программирования C++). Еще с Ричардом Столлманом — это один из евангелистов открытого программного обеспечения. И с Ильей Суцкевером, одним из создателей ChatGPT.

Как устроен мой обычный день

Я встаю около семи утра и начинаю работать. После работы занимаюсь наукой или иду на тренировки.

Бывает ли у меня выгорание

Именно выгорание — нет, но у меня иногда возникает синдром самозванца. Например, мой научный руководитель в 30 с небольшим защитил докторскую диссертацию. Я поражаюсь его эффективности, его умению и желанию работать. Мне до него пока далеко. Но поездки на научные конференции помогают справиться с этим ощущением. Слушая остальные выступления, ты понимаешь, что твоя работа на уровне с другими исследователями.

Чем я увлекаюсь, кроме науки

Спортом, программированием, путешествиями, фотографией, книгами. В Бразилию я приехал за неделю до конференции, которая проходила в Ресифи, и успел посмотреть Рио-де-Жанейро и съездить на Фос-ду-Игуасу, где водопады. Еще был в Аргентине.

На скалолазание меня подсадили давно друзья из Австрии. Приезжал в гости, они меня сводили на скалодром, а потом я начал заниматься в Нижнем. Ходил регулярно, но в последнее время не получается, приходится заниматься диссертацией.

Но волейбол я себе оставил. Нельзя сидеть за компьютером постоянно, нужно переключаться. А волейбол чуть лучше помогает разгрузиться. Когда ты лазаешь на скалодроме, ты можешь быть один со своими мыслями. А волейбол — командная игра. Высокие скорости, у тебя нет времени размышлять о бытовых проблемах, ты весь в игре: думаешь, где находиться на площадке, как дать хорошую передачу, в какой момент прыгнуть, ударить. Это лучше переключает, чем вдумчивое лазание по стенам.

Что последнее я читал и смотрел

Читал «Хоббита» в оригинале — хотелось попрактиковаться. А из фильмов посмотрел в самолете «Холодное лето пятьдесят третьего…». Тяжелый фильм, но интересный, в некотором смысле наш советский Джеймс Бонд. Но там больше экшена, а тут больше диалогов. Последний фильм Анатолия Папанова — в титрах про это говорится.

Совет молодым ученым

Не бояться экспериментировать и слушать своего научного руководителя — он плохого не посоветует!

Любимое место в Нижнем Новгороде

В центре — Верхневолжская набережная, площадь Минина, там часто в политехе пары прогуливали. В нижней части — Стригинский бор.