Российская психометрика вышла на международный уровень

© Высшая школа экономики

Дмитрий Аббакумов стал первым в истории исследователем из российского университета, выступившим с докладом на конференции Психометрического общества, основанного в 1935 году. О своем исследовании онлайн-обучения и о том, почему Россия так долго не была представлена в мировой психометрической науке, он рассказал порталу ВШЭ.

Чем занимается психометрика

Флагманами в психометрике являются Нидерланды, Бельгия, Великобритания и США. Именно в этих странах уже более ста лет разрабатываются новые подходы и математические модели вычислительной науки о поведении.

Классическая психометрика первой половины XX века измеряла уровень знаний человека через совокупность правильно решенных заданий. Доминировала довольно простая логика: чем больше заданий ты правильно решил, тем ты более подготовлен, более развит, умнее, в конце концов. В 1960-х годах в этой сфере наступил кризис. Почему? Попробую объяснить на примере.

Возьмем двух студентов. Один решил 20 простеньких заданий, другой всего 12, но сложных. Как их сравнивать? Решение созрело у Георга Раша из Копенгагенского университета. Его модель позволяет сравнивать друг с другом студентов, даже если задания меняются. Потому что в этом случае от уровня теста мы можем перейти к уровню отдельного задания как индикатора латентной переменной (знания, подготовленности, способности). То есть мы исследуем латентную переменную не с позиции теста в целом, а с позиции отдельных заданий, каждое из которых является ценным индикатором.

За океаном к той же модели, что Раш, пришел Фредерик Лорд из ETS — крупнейшей в Америке компании в области тестирования, которая разрабатывает такие тесты, как SAT, TOEFL, тесты для MBA.

Как измерить эффективность онлайн-обучения

Модели Раша и Лорда применялись по всему миру, но не в онлайн-обучении. Обе модели смотрят на подготовленность как на статичный параметр, то есть исходят из того, что в рамках теста уровень знаний человека не меняется. Но в онлайн-образовании студент решил новое задание — и у него добавилось знаний, пропустил неделю — и уровень его подготовленности снизился.

Чтобы учесть этот фактор, мы с коллегами предложили расширить модель Раша — добавить туда несколько параметров, чтобы можно было измерять подготовленность студентов в условиях динамичной среды онлайн-обучения. Эта модель учитывает не только правильность ответа, но и паттерн взаимодействия студента с заданием: сколько попыток было совершено и с какой результативностью. Модель учитывает не только то, как студент справляется с проверочными заданиями, но и его активность внутри курса (как он просматривал видео-лекции, скачивал ли материалы для чтения и т.п.). Важно отметить, что модель устойчива к полной или частичной замене заданий в экзаменационном тесте — результаты двух студентов будут сравнимы даже в таком случае.

Такой инструмент может повысить доверие к результатам экзаменов в онлайн-курсах и к онлайн-курсам как форме обучения в целом. Ведь в обществе традиционно к тестам относятся с недоверием, сравнивая их с «угадайкой» или известной телевизионной игрой, где используют помощь друга.

Что происходит с психометрикой в России

Может показаться странным, что наш доклад стал первым из России за восьмидесятилетнюю историю Психометрического общества. Но этому есть объяснение: актуальных исследований и разработок в России длительное время попросту не было. Фактически психометрика как наука у нас стала развиваться всего несколько лет назад.

В Советском Союзе русский аналог психометрики — педология — был под запретом вместе с кибернетикой и генетикой. Все это считалось лженаукой. К 1970-м годам ситуация немного улучшилась, но Запад к этому времени уже успел значительно уйти вперед. Мы же только начали понемногу осваиваться. Вся «движуха» строилась вокруг прикладной психометрики, которая использовала западные математические модели, но ничего нового не предлагала. У нас только сейчас появились результаты, которые влияют на развитие психометрических моделей и психометрических теорий, и с ними уже можно выступать на уровне международного психометрического сообщества.

Центр психометрических исследований в онлайн-образовании НИУ ВШЭ, конечно, проводит и много прикладных исследований, но главное для нас — развивать науку в области динамичной среды онлайн-обучения. Мы смотрим на подготовленность как на многомерный конструкт. Знания студента — это не единое целое, а система из многих компонентов, каждый из которых дает вклад в результаты этого студента на онлайн-экзамене. Мы пытаемся максимально приблизить наши модели к реальности. Это, пожалуй, то, чем кроме нас в России пока никто не занимается.