Экзамены с прокторингом: как обеспечивается корректность процедуры оценивания онлайн

© iStock

17% экзаменов в весенне-летнюю сессию ВШЭ пройдут с использованием процедуры прокторинга, позволяющей обеспечивать корректность оценивания в онлайн-режиме. Рассказываем, как используется прокторинг в Вышке и в чем его преимущества по сравнению с обычным контролем за проведением экзаменов в аудитории.

Пятилетний опыт

Высшая школа экономики – один из первых российских университетов, применивших прокторинг при сдаче экзаменов. Все началось в 2016 году, когда письменные экзамены стали сдавать студенты, осваивающие онлайн-курсы университета на Национальной платформе открытого образования. Тогда же в структуре Дирекции по онлайн-обучению был создан Центр прокторинга, а технологическим партнером университета стала компания «Экзамус» – один из лидеров в сфере прокторинга в нашей стране.

В ВШЭ ежегодно экзамены с прокторингом сдают несколько тысяч человек, поэтому процедура для университета не является новой, и 10-12 000 экзаменов проводятся с прокторингом «Экзамус».

Только за прошлый год в онлайн-формате с использованием технологии прокторинга были проведены:

• 4500 экзаменов для студентов вузов-партнеров в рамках договоров о сетевой реализации образовательных программ,

• 2200 вступительных экзаменов для иностранных абитуриентов и для поступающих в аспирантуру НИУ ВШЭ, 

• более 2000 экзаменов для изучающих онлайн-курсы НИУ ВШЭ на Национальной платформе открытого образования.

Система прокторинга «Экзамус» используется большинством ведущих университетов – учредителей Национальной платформы открытого образования, а также корпоративными университетами. На сегодня это одна из самых надежных систем.

В прошлом году были впервые поведены вступительные экзамены с прокторингом для абитуриентов магистерской программы Master of Data Science, реализуемой полностью онлайн на образовательной платформе Coursera.

Синхронный и асинхронный

Существуют два вида прокторинга – синхронный и автоматический асинхронный с последующей проверкой.

В первом случае за ходом экзамена в режиме реального времени наблюдает онлайн или сторонний проктор, сотрудник «Экзамуса», или специально обученные сотрудники факультетов ВШЭ. Ведется запись двух потоков видео: с веб-камеры студента и рабочего стола его компьютера. Перед экзаменом проктор идентифицирует личность студента (проверяет паспорт), а в ходе экзамена может письменно комментировать его действия в чате. Один проктор одновременно сопровождает экзамены до шести человек.

© iStock

Во втором случае идентификация личности и весь ход экзамена обеспечиваются с помощью компьютерной программы, которая в автоматическом режиме отслеживает присутствие студента в кадре. Если там появляется посторонний человек, если студент разговаривает во время экзамена, подключает второй монитор или совершает другие запрещенные действия, система их фиксирует, расставляя метки на видеозаписи. Именно на эти метки потом обращает внимание проктор при ее просмотре.

Решение о том, нарушил ли студент в ходе экзамена правила внутреннего распорядка (допустил подлог, списывал), принимает преподаватель. Если студент считает решение преподавателя необоснованным, то может подать апелляцию, которую рассмотрят академический руководитель образовательной программы и апелляционная комиссия. Преимущество экзамена с прокторингом в том, что у комиссии будет документально подтвержденное видео экзамена.

В период пандемии

Весной этого года технологии прокторинга массово применялись на вступительных экзаменах в Лицей ВШЭ. Школьники проходили письменное тестирование, не приезжая в университет. По оценке директора Лицея Дмитрия Фишбейна, экзамены были организованы в целом успешно, при этом онлайн-формат оказался значительно более трудозатратным для всех участников процесса.

Действующий сейчас режим самоизоляции не позволяет проводить экзаменационную сессию в очном режиме, поэтому большинство российских университетов значительную часть экзаменов проводят в онлайн-формате. ВШЭ не исключение: основной поток студенческих экзаменов за третий и четвертый модуль начнется 10 июня, однако на некоторых образовательных программах их начали сдавать уже в мае. Например, чуть раньше экзамены начинаются в МИЭФ, и это связано с особенностями программ «двойных дипломов».

С использованием процедуры прокторинга в весенне-летнюю сессию пройдут 17% экзаменов, в основном письменных. Если экзамен сдает небольшая группа студентов, прокторы наблюдают за ними в синхронном режиме, а если сотни и даже тысячи человек (около 2 000 человек могут одновременно сдавать иностранный язык), то в асинхронном. В ряде случаев по усмотрению руководителей образовательных программ прокторинг возможен и на устных экзаменах – в этом случае наблюдение ведется за студентом во время подготовки к устному ответу в «комнате» Zoom или MS-Teams.

Объем экзаменов с прокторингом, которые в ВШЭ предстоит провести до конца июня, вырос примерно в десять раз по сравнению с периодом до коронавируса. Такие экзамены будут сдавать почти 23 000 студентов.

Правила поведения

Правила проведения экзаменов с прокторингом опубликованы здесь. В частности, речь идет о технических требованиях к компьютеру пользователя и к качеству соединения через интернет. По оценке Центра прокторинга ВШЭ, с проблемой качества соединения сталкиваются 7 – 10% экзаменуемых. Например, если человек находится на даче, где есть только мобильный интернет, да и тем пользуется одновременно вся семья, программа может не записать требуемые два потока видео.

Для успешной работы системы прокторинга студент должен обеспечить и другие необходимые условия, в том числе достаточный уровень освещенности и низкий уровень шума. Чтобы заблаговременно устранить подобные недостатки и проверить оборудование, накануне проводится пробный экзамен.

Почти все правила экзамена с прокторингом совпадают с требованиями к любому очному экзамену. Отличие лишь в требованиях к определенным техническим условиям, известным заранее, но это общие требования онлайн-обучения. Если они выполнены и студент прочитал инструкцию, экзамен пройдет нормально. А если у студента нет выхода в интернет, он не сможет учиться онлайн.

Ответы на вопросы

У преподавателей, не знакомых с прокторингом, возникали вопросы: действительно ли система обеспечивает корректность процедуры оценивания, в принципе исключая возможность списывания, подсказок и прочих нечестных действий?

«Прокторинг – это высокотехнологичная процедура, а не просто видеозапись с экрана и рабочего стола. В ее основе — умный алгоритм, обращающий внимание на изменения в поведении студента, которым преподаватель может и не придать значения. Поэтому наблюдение за онлайн-экзаменом с помощью прокторинга оказывается качественнее и эффективнее, чем наблюдение за обычным экзаменом в университетской аудитории», — делятся своими наблюдениями коллеги из Центра прокторинга НИУ ВШЭ.

В свою очередь, опасения по поводу проведения экзаменов с прокторингом выражали и некоторые студенты ВШЭ. Речь шла, в частности, о возможном сбое техники, о стрессе, и на заседании студсовета эти опасения развеял проректор ВШЭ Сергей Рощин.

Но если некоторое время назад многие студенты не имели представления о том, как проходит экзамен с прокторингом, то сегодня ситуация другая. Неопределенность осталась позади, опубликованы подробные ответы на часто задаваемые вопросы, можно ознакомиться с материалами в социальных сетях, инструкциями, мнениями и отзывами участников процедуры. 5 июня первые студенты прошли пробное тестирование.

Перспективы

Коронавирус и последующий перевод обучения в дистанционный формат продемонстрировали и подтвердили важность процедуры прокторинга для университета. Но и после возобновления обучения в привычной форме, очевидно, роль прокторинга останется высокой и будет возрастать с каждым годом.

Алексей Чукарин, старший директор по цифровой трансформации ВШЭ

В планах Цифрового блока НИУ ВШЭ – встраивание инструментов прокторинга в создаваемую образовательную платформу SmartLMS. Но на этом совершенно точно нельзя останавливаться: необходимо развивать инструментарий прокторинга – совершенствовать алгоритмы видеоаналитики, учитывать поведенческие паттерны, максимально автоматизировать работу проктора. В ближайших планах обобщить опыт, полученный сейчас, опыт партнеров, в том числе международный, и вместе с партнерами развивать этот важный инструмент.