Психометрические теории и анализ тестовых заданий

Магистратура 2019/2020

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Измерения в психологии и образовании)

Направление: 37.04.01. Психология

Кто читает: Институт образования

Где читается: Институт образования

Когда читается: 1-й курс, 2-4 модуль

Формат изучения: без онлайн-курса

Преподаватели: Антипкина Инна Вениаминовна, Иванова Алина Евгеньевна, Карданова Елена Юрьевна

Прогр. обучения: Измерения в психологии и образовании

Язык: русский

Кредиты: 6

Контактные часы: 78

Полная версия программы учебной дисциплины

Аннотация

Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.

Цель освоения дисциплины

Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.

Планируемые результаты обучения

проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
знать основы классической теории тестирования
оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
знать основы современной теории тестирования IRT
использовать в анализе основные модели IRT
применять методы оценивания параметров модели
оценивать соответствие модели данным
проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
применять дихотомические модели IRT
правильно применять политомические модели IRT
владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов

Содержание учебной дисциплины

Тема 1. Основы классической теории тестирования
Предпосылки классической теории тестирования (КТТ). Структура наблюдаемого тестового балла. Определение истинного тестового балла. Определение ошибки измере-ния. Основные уравнения КТТ. Концепция надежности в КТТ. Процедуры и методы вычисления надежности ре-зультатов тестирования (формула Кронбаха; формула Кьюдера-Ричардсона; формула Спирмена-Брауна). Вычисление ошибки измерения истинного тестового балла. Построе-ние доверительных интервалов для исходных тестовых баллов. Концепция валидности в КТТ. Виды валидности. Процедуры исследования валидности теста.
Тема 2. Анализ тестовых заданий в рамках классической теории тестирования
Характеристики тестовых заданий в КТТ. Оценивание трудности, дифференцирую-щей способности и валидности задания. Интерпретация значений параметров. Компьютерные программы оценивания параметров в рамках КТТ.
Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестирования
Представление результатов тестирования. Нормирование и шкалирование результа-тов тестирования. z-шкала и шкалы, полученные ее преобразованием. Шкала проценти-лей. Проверка параллельности вариантов. Методы выравнивания результатов в КТТ. Анализ диффиренцирующей способности заданий (DIF). Методы установления пороговых баллов.
Тема 5. Основные математические модели IRT. Модели Раша
делей. Параметры моделей и их интерпретация. Области применения различных моделей. Сравнение моделей и их свойств. Выбор модели измерения. Обоснование полезных свойств и преимуществ IRT по сравнению с классической теорией тестирования.Свойства и преимущества моделей Раша.
Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.
Недостатки и ограничения классический теории тестирования. Принципы измерения латентных переменных в рамках IRT и их применение для конкретных задач измерений в образовании и психологии. Преимущества IRT по сравнению с классической теорией тестирования. История развития IRT. Основные предположения IRT. Характеристическая кривая задания.
Тема 6. Методы оценивания параметров моделей
Свойства оценок. Различные методы оценивания параметров. Метод максимального правдоподобия и его вариации. Оценивание мер испытуемых. Оценивание параметров заданий. Оценивание ошибки измерения. Сравнение различных методов оценивания параметров. Компьютерные программы оценивания параметров IRT моделей.
Тема 7. Оценивание адекватности эмпирических данных модели измерения.
Проверка основных предположений IRT и свойств IRT моделей (одномерность, ло-кальная независимость). Исследование согласия экспериментальных данных тестирования с используемой моделью измерения. Статистики согласия, основанные на стандартизированных остатках (уклонениях). Свойства статистик согласия и их распределений. Анализ согласия по заданиям теста. Анализ согласия ответов испытуемых. Примеры анализа согласия эмпирических данных с моделью измерения. Причины неадекватности эмпирических данных используемой модели измерения. Эмпирические характеристические кривые заданий и их сравнение с теоретическими (модельными) характеристическими кривыми. Обоснование выбора модели измерения по результатам анализа адекватности эмпи-рических данных.
Тема 8. Общий анализ теста в рамках IRT
Анализ теста, состоящего из дихотомических заданий. Общая схема анализа. Проверка выполнения основных предположений IRT: размерность, локальная независимость, согласие с моделью измерения, инвариантность оценок параметров. Точность измерений. Обоснование валидности конструкта. Исследование однородности выборок и проверка различных гипотез тестирования. Шкалирование результатов тестирования. Представление и интерпретация результатов тестирования. Представление результатов анализа.
Тема 9. Дихотомические модели IRT. Выбор модели
Дихотомические модели IRT: однопараметрическая модель (дихотомическая модель Раша); двух- и трехпараметрические модели Бирнбаума. Свойства моделей и их парамет-ров. Области применения. Сравнение моделей и их свойств. Статистические критерии выбора модели измере-ния.
Тема10. Основные политомические модели IRT
Политомические модели IRT: Partial Credit Model, Rating Scale Model, Generalized Partial Credit Model,Graded-Response Model. Свойства моделей. Параметры моделей и их интерпретация. Области применения различных моделей. Сравнение моделей и их свойств. Выбор модели измерения. Компьютерные программы, работающие с политомическими моделями IRT.
Тема 11. Измерения в психологии с использованием шкал Ликерта
Особенности рейтинговых шкал. Rating Scale Model и ее свойства. Анализ данных в рамках RSM. Применение IRT моделирования для разработки психологических методик, построе-ния шкал, исследования их психометрических свойств – исследование размерности, функционирование категорий, оптимизация числа ответных категорий. Исследование стилей ответов респондентов.
Тема 12. Анализ измерительных свойств заданий в IRT.
Характеристическая кривая задания (дихотомического и политомического) и ее свойства. Функционирование категорий задания, оцениваемого политомически. Оптимизация схемы оценивания политомических заданий различных форм. Примеры анализа по-литомических заданий. Информационная функция задания теста (дихотомического и политомического) и ее свойства. Информационная функция теста и ее свойства. Вклад различных заданий в из-мерение латентной черты. Связь информационной функции теста и ошибки измерения. Эффективность теста как измерительного инструмента. Сравнение эффективности двух тестов. Конструирование теста с наперед заданными свойствами при наличии банка заданий. Конструирование критериально-ориентированного теста с заданным проходным баллом.
Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
Выравнивание результатов, полученных по отчасти различным наборам заданий и, возможно, в разное время. Условия выравнивания. Методы и процедуры выравнивания. Горизонтальное и вертикальное выравнивание. Измерение прогресса. Различное функционирование заданий по отношению к различным группам испытуемых Методы идентификации таких заданий(DIF анализ). Методы установления проходного балла. Методы установления пороговых оценок (benchmarks). Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
Тема 14. Общий анализ теста. Представление результатов
Особенности анализа теста при наличии политомических заданий. Исследование размерности теста. Анализ функционирования заданий, оцениваемых политомически. Исследование совместного функционирования дихотомических и политомических заданий. Исследование совместного функционирования заданий различных форм. Представление резуьтатов анализа различным группам пользователей.
Тема 15. Измерение латентных переменных в социальных и экономических сферах.
Математические модели и технология обработки информации применительно к за-дачам управления в социальных и экономических сферах. Методика измерения латентных переменных с помощью IRT моделирования. Математические модели для данных на номинальной шкале. Применение IRT моделирования для анализа данных многокритериального монито-ринга и построения единого интегрального показателя.

Элементы контроля

Домашние проекты
Контрольная
Экзамен

Промежуточная аттестация

Промежуточная аттестация (4 модуль)
0.5 * Домашние проекты + 0.2 * Контрольная + 0.3 * Экзамен

Программа дисциплины