- A
- A
- A
- АБB
- АБB
- АБB
- А
- А
- А
- А
- А
СОП: измеряет температуру, но не ставит диагноз
© Высшая школа экономики
2 декабря в рамках проекта Teach for HSE состоялась очередная дискуссия, посвященная различным аспектам обратной связи в университете. В прошлый раз участники дискуссии предлагали способы борьбы с инфляцией оценок, а на этот раз речь шла прежде всего о СОП — студенческой оценке преподавания.
В роли модератора выступила директор по образовательным инновациям НИУ ВШЭ Оксана Черненко. Основной доклад сделал начальник отдела обратной связи и внутреннего оценивания Центра внутреннего мониторинга НИУ ВШЭ Дмитрий Ефимов. Он рассказал о принципах и логике обратной связи, которая выстроена в университете.
«Любая обратная связь должна быть максимально полноценной и комплексной. Она не может основываться на одном источнике информации, а должна включать в себя разные источники, которые могут верифицировать друг друга. Поэтому мы опрашиваем всех участников образовательного процесса: студентов, и это самая большая группа, а еще преподавателей, администраторов и работодателей», — подчеркнул Дмитрий Ефимов.
Инструменты обратной связи он сравнил с градусником, который определяет температуру тела, показывает, что проблема есть и ее причины надо выяснять, но не ставит окончательный диагноз и тем более не назначает лечение, если температура выше или ниже нормы. Важно и то, что в системе обратной связи, помимо количественной оценки, есть и качественная: так, студенты, опрошенные в рамках СОП, не только выставляют баллы, но и дают рекомендации, поясняют и аргументируют свою позицию.
Дмитрий Ефимов отметил, что студенческая оценка преподавания — довольно стандартный инструмент, используемый во многих университетах мира. В Вышке она проводится по итогам каждого модуля — четыре раза в год, охватывая всех преподавателей и все дисциплины. СОП анонимна (самоцензура исключена) и обязательна, то есть речь идет фактически о генеральной совокупности студентов. Вопросы в анкете касаются содержания курса и работы преподавателя. В последние годы в фокус СОП также попадают и элементы практической подготовки — проекты и практики студентов.
Результаты СОП анализируются и используются в том числе в управленческих целях — при проведении конкурса ППС, при формировании учебных планов, распределении нагрузки и так далее, но потенциально жесткие решения, касающиеся конкретного преподавателя, необходимы лишь в том случае, если он получает заведомо низкие оценки от большого числа студентов. Но и тут необходим анализ, уточняет Дмитрий Ефимов: возможно, студенты с их бэкграундом были не готовы к изучению дисциплины или она дублировала уже изученное и проч. В этом случае решение скорее должно касаться не преподавателя, а устройства учебного плана.
Докладчик пояснил, что в большинстве случаев студенты низко оценивают работу преподавателя, когда он некорректно коммуницирует с ними, непоследовательно или, по их мнению, скучно излагает материал, использует разные подходы при выставлении оценок разным группам или отдельным студентам, неделями не отвечает на вопросы в почте и в чатах. Бывает так, что ожидания аудитории и преподавателя не совпадают. Например, студенты с учетом ранее изученного ожидали от курса одного, а преподаватель был нацелен на другое и не сумел перестроиться. И хотя здесь вопрос скорее к академическому руководителю, студенты предъявляют претензии преподавателю.
По мнению Дмитрия Ефимова, важны не только и не столько баллы, которые студенты выставляют преподавателю, сколько комментарии, которые преподаватели иногда игнорируют, и очень зря — это «гигантский массив полезной информации». По данным докладчика, всего в СОП за 2023/24 учебный год было оставлено более 820 тыс. содержательных текстовых комментариев. И здесь нужно понимать, что, если один студент написал нечто, а другие его не поддержали, это его личное мнение, которое стоит принимать во внимание только в случае четкой и последовательной аргументации, а если об одном и том же написали разные студенты в разных выражениях, то о поднимаемой ими проблеме стоит задуматься в любом случае.
Один из выводов по итогам многолетнего использования СОП в Вышке заключается в том, что разница в оценке самых лояльных и самых жестких преподавателей практически отсутствует. «Купить лояльность студентов, выставляя им высокие баллы, заведомо невозможно, это видно статистически», — подытожил докладчик.
Что же касается конкурса лучших преподавателей, то это отдельный от СОП механизм. Каждый студент выбирает не более четырех из тех, кто вел у него занятия в течение года, и для всех преподавателей определяются рейтинги, обозначающие долю выбравших их студентов от всего потока. Обладатель высоких баллов СОП может и не стать лучшим — на это влияют разные факторы, в том числе конкурентная ситуация на образовательной программе и в кампусе. Как показывает статистика, преподаватели, выбранные в качестве лучших, оценивают студентов немного строже, чем все остальные.
В ходе дискуссии первый проректор НИУ ВШЭ Вадим Радаев ответил на вопросы преподавателей — участников проекта Teach for HSE, которые они задали при регистрации на мероприятие, и поделился своим управленческим опытом.
Вадим Радаев убежден, что обратная связь в университете необходима, хотя без СОП многим коллегам было бы спокойнее, ведь она может содержать негатив. Студенты тоже не всегда ее поддерживали: чтобы обеспечить почти 100-процентное участие, как сейчас, пришлось долго их убеждать. Первый проректор подтвердил тезис о том, что обратная связь должна быть множественной, ведь идеальных инструментов не существует.
СОП, по его мнению, элемент внешнего контроля. Ведь, в отличие от научных статей, которые может прочитать каждый, преподавание является зоной почти полной академической свободы: «Мы заходим в аудиторию и делаем что хотим». «Когда заканчивается модуль, я смотрю результаты СОП каждого сотрудника своей кафедры и лаборатории, — рассказал Вадим Радаев. — И для меня как руководителя это индикатор благополучия или неблагополучия. Меня интересует неблагополучие: нет ли чего непредвиденного плохого».
Причины низких оценок бывают разными, но всякий раз это проблема, которую нельзя игнорировать: были примеры «обрушения» СОП из-за того, что преподаватель на семинарах «сидел в телефоне», всякий раз опаздывал на полчаса, менял формулу оценивания, не отвечал на внеаудиторные запросы студентов. Вадим Радаев считает, что в любом случае руководитель должен выяснить причину низких оценок, при необходимости поговорить со студентами, помочь коллеге выйти из сложившейся ситуации.
При этом СОП не является репрессивным инструментом, ее цель — вовремя выявлять проблемы. Первый проректор рассказал, что сам всегда с интересом анализирует, как студенты оценивают его преподавательскую деятельность. Иногда встречаются, по его мнению, неприятные и несправедливые комментарии, но они необходимы для понимания полноты картины. «Я вижу, что им нравится, а что нет, что надо изменить, и каждый год не радикально, но корректирую свой курс», — отметил Вадим Радаев.
Заместитель директора Института спортивного менеджмента и права ВШЮА ВШЭ Ринат Хисямов поинтересовался, учитываются ли комментарии студентов в СОП при проведении конкурса ППС. Вадим Радаев сообщил, что в анкеты, которые видит преподаватель, они не включаются, но члены конкурсных комиссий уже на этапе рассмотрения заявок при необходимости могут их прочитать. Заместитель первого проректора Елена Артюхова добавила: к анкетам на этапе их оформления имеет доступ большое число людей, и возникает вопрос защиты персональных данных, поэтому данные предоставляются конкурсным комиссиям уже тогда, когда пул анкет для текущего конкурса сформирован.
Доцент Школы иностранных языков НИУ ВШЭ Елена Стырина предложила дать возможность преподавателям реагировать в системе СОП на отдельные негативные замечания студентов, и Вадим Радаев поддержал эту инициативу. Речь идет, разумеется, об ответе не студенту, которого мы не знаем из-за анонимности, а своим коллегам и руководителю, чтобы преподаватель мог изложить свою версию событий, сообщить, что произошло, по его мнению, на самом деле, и даже оправдаться, если есть такая необходимость.
Директор по развитию преподавательского мастерства НИУ ВШЭ Андрей Дементьев предположил, что в рамках СОП можно было бы через более разветвленную и сложную анкету оценивать не просто несколько общих параметров удовлетворенности студентов, но и конкретные аспекты преподавания — например, насколько активны студенты на занятиях. Однако, по мнению Вадима Радаева, СОП не является непосредственным инструментом повышения эффективности преподавания, ведь это более сложная проблематика, чем срез удовлетворенности и понимание спектра проблем, и, если руководитель ставит такую задачу, он может сам посещать занятия того или иного преподавателя и наблюдать, что происходит в аудитории.
Кроме того, Дмитрий Ефимов и Вадим Радаев выразили сомнение в том, что есть смысл менять конкретные формулировки критериев в анкете для студентов в отношении оценки работы преподавателя, потому что, по большому счету, все результаты так или иначе сводятся и будут сводиться к одному фактору, обозначающему наличие или отсутствие значимых проблем, а более детально характеристики того, что происходит в аудитории, лучше смотреть по комментариям или по другим источникам информации.
Профессор департамента стратегического и международного менеджмента НИУ ВШЭ Николай Филинов поднял вопрос о том, что результаты СОП на данный момент доступны непосредственно преподавателям, ведущим курс в текущем учебном году, но не предоставляются авторам учебных программ, по которым преподается сама дисциплина, для их доработки в дальнейшем. Дмитрий Ефимов отметил, что вопрос действительно заслуживает внимания и будет проработан с держателями конструктора ПУД.
В завершение мероприятия Дмитрий Ефимов порекомендовал коллегам сайт СОП, где есть подробная и полезная информация для студентов, преподавателей и администраторов о проведении процедуры и интерпретации результатов.