Контроль и оценивание в образовании

Магистратура 2022/2023

Статус: Курс обязательный (Педагогическое образование)

Направление: 44.04.01. Педагогическое образование

Кто читает: Институт образования

Где читается: Институт образования

Когда читается: 2-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Антипкина Инна Вениаминовна

Прогр. обучения: Педагогическое образование

Язык: русский

Кредиты: 6

Контактные часы: 30

Полная версия программы учебной дисциплины

Аннотация

Курс разработан и преподается профессиональными психометриками. Психометрика – это наука об инструментах оценивания. Понимание принципов разработки заданий, умение провести базовую экспертизу теста, практика по разработке рубрик оценивания помогут учителям выстроить эффективную систему оценивания в своих классах и включиться в более широкий контекст вопросов оценивания: эффективнее готовить учащихся к проверочным работам, экзаменам высоких ставок, работать с тестовой тревожностью учащихся. Курс содержит три укрупненных практических блока тем. 1. Формирующее оценивание и все, что с ним связано. В этом блоке мы обсуждаем эмоциональные трудности оценивания. Знакомимся с концепцией «климата ошибки» (error climate). Разбираем разные подходы к формирующему оцениванию. Большое внимание уделяем деятельностным заданиям (performance-based assessment), для которых учимся разрабатывать рубрики оценивания. Деятельностные задания – это большая часть заданий текущего школьного оценивания, для которых требуется участие оценщика-эксперта: сочинения, презентации, проекты. Умение разрабатывать качественные, справедливые, полные, ясные и удобные для понимания и применения критерии (рубрики оценивания) – главный образовательный результат этого блока. 2. Разработка тестовых заданий. В этой части участники курса знакомятся с правилами разработки тестовых заданий, типами тестов по задачам и интерпретации. Работа построена от знакомства с типичными ошибками, через экспертизу типовых тестов к разработке собственных заданий. В рамках работы с тестовыми заданиями мы также посмотрим на системы оценивания в разных странах, познакомимся с международными исследованиями. 3. Основы психометрического анализа. В этой части курса учителя научатся проводить простой анализ тестов в рамках классической теории тестирования в программе Excel. Участники курса увидят, как психометрические характеристики задания трудность и дискриминативность позволяют находить проблемные задания. Смогут обосновать качество инструментов. Они также узнают требования к качеству теста.

Цель освоения дисциплины

Справедливо оценивать деятельностные задания с помощью самостоятельно разработанных рубрик оценивания
Давать содержательную обратную связь
Создавать тестовые задания разных форматов и ориентированных на разные когнитивные процессы (запоминание, применение, анализ, синтез).
Проводить анализ данных тестирования методами классической теории тестирования: оценить трудность и дискриминативность заданий теста, оценить надежность теста.
Работать с документацией «внешних» тестов и использовать ее для подготовки учащихся к тестированию и для корректировки программ обучения.
Провести экспертизу контрольно-измерительных материалов и исправить недостатки в инструкциях, формулировках заданий, композиции теста.

Планируемые результаты обучения

Навык анализа целей и задач конкретного тестирования
Применение таксономии для создания спецификации
Различие НОРТ и КОРТ оценивания
Разработка заданий разных форматов.
Создание рубрики оценивания: холистической или аналитической.
Умение выявлять искажения в заданиях, которые могут быть источником несправедливого оценивания.
Умение описать "минимально-компетентного учащегося"
Умение оценить надежность теста, трудность и дискриминативность тестовых заданий, а также выявление потенциальных проблем.
Умение рассчитать описательные характеристики результатов оценивания. Построение гистограммы. Описание графиков.
Классифицировать виды оценивания в соответствии с целями и интерпретацией результатов
Проводить психометрический анализ данных тестирования методами классической теории тестирования: оценивать трудность и дискриминативность заданий теста, оценивать надежность теста.
Провести экспертизу контрольно-измерительных материалов и исправить недостатки в инструкциях, формулировках заданий, композиции теста.
Работать с документацией «внешних» тестов и использовать ее для подготовки учащихся к тестированию и для корректировки программ обучения.

Содержание учебной дисциплины

Занятие 1
Занятие 2
Занятие 3
Занятие 4
Занятие 5
Занятие 6
Занятие 7
Занятие 8
Занятие 9
Занятие 10
Четыре группы целей тестирования. НОРТ и КОРТ. Создание теста. История оценивания в педагогике.

Элементы контроля

Домашние задания
Домашние задания направлены на отработку основных тем курса. Более подробные формулировки будут представлены в ходе курса. Возможны изменения. 1. Найти НАУЧНУЮ статью, описывающую одну из проблем оценивания. Подготовить краткое саммари с описанием главных результатов. Написать, почему считаете статью важной и как она может дополнить вашу (и коллег) практику преподавания. Критерии оценивания: 1. Статья является результатом исследования. 2. Саммари емкое, но полное. 3. Прослежены исследования, предшествующие и продолжающие это исследование (кратко дан контекст). 4. Выбор статьи аргументирован. Каждый пункт оценивается в 2 балла. Дополнительные 2 балла соответствуют критерию: голосование одногруппников; каждый участник курса сможет проголосовать за три наиболее понравившиеся работы. Топ-5 получат дополнительные 2 балла. 2. Описать по заданному плану деятельностное задание, по которому будем составлять рубрики. Критерии оценивания: 1) описаны все пункты списка. 2) критерии ясные и однозначные 3) критерии положительно сформулированы 4) критерии отражают учебные задачи и цели 5) критерии только важные, исключены второстепенные признаки и банальности критерии выбраны. Каждый пункт оценивается 0-1-2 3. Для предложенного деятельностного задания (с учетом обратной связи, полученной 26.09) выбрать систему оценивания и написать рубрику 4. подготовить презентацию об экзамене высоких ставок в (на выбор: Англия, Китай, США), международном сравнительном образовательном исследовании. Критерии: 1. Отражены сходства и различия между Россией и выбранной страной (для МСИ – отражены сравнения в эффектах на систему в России и другой стране/странах); 2. Оценивание описано полно (теоретическая рамка, цели и задачи, разработчик, форматы, кто оценивает, как часто проводится, на чем отражается – роль в культуре) 3. Использованы научные публикации. 4. Фрагменты информации сопоставлены с использованными источниками (научными и популярными). Оценивается 0-1-2. Для повышения оценки может использоваться критерий 5. Приведены вадидизационные исследования о качестве материалов. 5. Написать по своей (?) теме два задания с множественным выбором, два на сопоставление, два на краткий ответ, два с выбором нескольких вариантов. Взаимное оценивание (по 3 человека). Критерии оценивания: 1. Все задания записаны верно (6 баллов – без ошибок, 5 баллов – незначительные орфографические или пунктуационные недочеты в одном задании, 4-3-2-1 балла – большее количество недочетов или более серьезные ошибки в других заданиях. 2. Взаимное оценивание (работ троих других участников) проведено верно. За это можно 0-4 балла. 6. Провести анализ и подготовить краткий отчет по шаблону. Критерии: выполнены все расчеты без ошибок. (0-3), результаты интерпретированы верно (0-3), исправления предложены верно (0-2).
Итоговый тест
Итоговый тест по всем темам курса

Промежуточная аттестация

2022/2023 учебный год 2 модуль
0.3 * Домашние задания + 0.3 * Итоговый тест + 0.4 * Домашние задания

Список литературы

Авторы

Антипкина Инна Вениаминовна
Давлатова Мадина Асатуллоевна

Программа дисциплины