«Ты думаешь о своих исследованиях 24/7»

Эксперт Института образования Дарья Грачева пришла в науку с запросом, как отличить плохой тест от хорошего. В интервью проекту «Молодые ученые Вышки» она рассказала о «4К-тесте», который умеет измерять критическое мышление и коммуникацию, модели Георга Раша и о том, как обустроить аквариум для краба.

Почему я решила заняться наукой

У меня всегда была тяга к знаниям, но до поступления в магистратуру Высшей школы экономики я не понимала, что такое научная карьера, и никак себя в этом не видела. Но поскольку я училась в Институте образования, где каждая вторая аудитория — это исследовательский центр или лаборатория, не заразиться этим настроением было невозможно.

Когда я поняла, что мне нравится то, что здесь происходит, я стала стажером-исследователем в Центре психометрики и измерений в образовании. Пример моих коллег, которые одновременно преподают и занимаются исследованиями, был для меня очень показательным. Они вдохновили меня сначала заняться наукой, а потом поступить в аспирантуру здесь же, в Институте образования.

До магистратуры я училась в РЭУ имени Плеханова по специальности «Математические методы в экономике». Мне были интересны статистика и математическое моделирование, но экономика меня не захватила. Поэтому мне всегда хотелось применить мои знания где-то еще, и я выбрала область на стыке образования и психологии. Теперь я моделирую, анализирую образовательные и психологические данные и делаю из этого выводы.

Что я исследую

Ученые в теме образования и тем более психологии часто хотят что-то измерить, будь то образовательные результаты, самооценка ребенка, его интеллект. Для этого нужен подходящий инструмент измерения. Я поступила в магистратуру по измерениям, потому что мне было интересно, как разрабатываются такие инструменты и как отличить плохой тест от хорошего. Для того чтобы разрабатывать тесты и анализировать их результаты, нужна определенная методология. Этим занимается психометрика — наука об измерениях, которая пытается выстроить связь между наблюдаемым поведением (скажем, ответами на тест) и чем-то ненаблюдаемым или латентным, например интеллектом или цифровой грамотностью. Лично я занимаюсь измерениями так называемых навыков XXI века — это критическое мышление, креативность, коммуникация и кооперация. Считается, что эти мягкие навыки позволяют сделать жизнь ребенка успешнее в будущем.

Работа идет в двух направлениях. Во-первых, нам надо подобрать инструмент, чтобы измерить такие сложные навыки, как критическое мышление или креативность. Обычные тестовые задания, где надо выбрать вариант ответа, не очень для этого пригодны. Нужны интерактивные тестовые системы, которые называются сценарными или сюжетными заданиями: вы конструируете тестовую среду, помещаете туда респондента и снимаете поведенческие индикаторы, которые говорят о том, креативен он или нет, умеет кооперироваться с другими или не умеет. Наша работа с командой заключалась в том, чтобы такую тестовую систему сконструировать, основываясь на доказательном подходе к разработке тестов (Evidence-Centered Design) и существующих теоретических моделях интересующих нас навыков.

Второе направление — моделирование данных о поведении респондента внутри тестовой среды. Мы используем статистические модели, чтобы как можно точнее оценить способности респондента и дать содержательную обратную связь.

Как работает система, которую мы разработали

Она называется «4K-тест» и напоминает компьютерную игру. Респондент заходит в тест по ссылке, где перед ним разворачивается сюжет в реальном или фантастическом контексте, он может там кликать, выполнять различные задачи и тем самым демонстрировать свои способности к критическому анализу информации, креативному решению задач и прочее.

Например, в рамках оценки критического мышления мы используем симуляцию интернет-браузера, где респонденту необходимо найти полезную информацию для решения задачи, а перед этим выбрать наиболее достоверный источник информации. Ведь одно из свойств критически мыслящего человека — умение отделить достойный доверия источник информации от того, которому доверять нельзя.

Сейчас мы пытаемся сделать «4К-тест» продуктом, который будем предлагать школам.

Пример задания

Мы разработали задание для начальной школы, где тестируемому надо разобраться, что ему делать, если он решил завести себе краба в качестве домашнего питомца. Прежде всего крабу нужно место, где он будет жить, — аквариум.

Мы предлагаем ребенку текст электронной статьи, где написано, какие предметы понадобятся для аквариума. Ребенок его читает и выделяет ключевую информацию. Дальше мы предлагаем ему симуляцию аквариума, где он может мышкой перетаскивать в аквариум землю, домик, коряги, растения. Но в его распоряжении есть и другие предметы, о которых в тексте либо не упоминалось, либо говорилось, что их ставить нельзя. Например, пластик. И потом мы смотрим, как ребенок создает свой аквариум на основе информации, которую он проанализировал.

Вместе с коллегами мы опубликовали статью в международном рецензируемом журнале, где описали подход к разработке этого задания и доказали его психометрическое качество.

О чем я мечтаю

Моя мечта — это международный проект. Измерение навыков XXI века — это глобальный вопрос. Многие работы, на которые мы ссылаемся, принадлежат зарубежным авторам. Мы находимся в международной повестке, и, конечно, нам бы очень хотелось перевести наши наработки на английский язык, чтобы проводить международные сравнительные исследования.

Если бы я не стала ученым

Я бы работала с данными. Мне нравится это делать именно в рамках исследовательских задач, но я могла бы пойти в бизнес — заниматься продуктовыми и маркетинговыми задачами.

С кем из ученых я бы хотела встретиться

В психометрике мы часто используем статистические модели так называемой современной теории тестирования, в которых моделируется вероятность правильно ответить на вопрос в зависимости от способности респондента и характеристик задания (например, его трудности). В такой постановке она была предложена Георгом Рашем. Мне было бы интересно у него спросить, как к нему пришла эта идея и ожидал ли он, что модель Раша станет золотым стандартом в этой области.

Как устроен мой обычный день

Я жаворонок и встаю рано. Может быть, это не очень хорошо для моего здоровья, но я часто начинаю на энтузиазме свой день с работы. Потом завтракаю и снова начинаю работать.

Мне кажется, жизнь научного сотрудника так устроена, что ты думаешь о своих исследованиях 24/7. Если ты не занимаешься рутинными задачами, ты дописываешь статью или прорабатываешь новую гипотезу. Не скажу, что у меня есть четкий баланс между жизнью и работой, но, пока у меня есть на это силы, меня это скорее устраивает.

Как я справляюсь с выгоранием

Людям в исследовательских институтах свойственно выгорание, потому что мы вкладываем частичку души в то, что делаем, нас действительно волнуют и результат, и процесс.

Как я с этим справляюсь? Если я в критической точке, я обычно говорю себе «хватит» и не делаю ничего день-два. Обычно такой резкий скачок в сторону абсолютнейшего отдыха помогает. Это необязательно может быть выходной, да простит меня мое начальство. Если вдруг меня накрывает в середине недели, я могу максимально раскидать все задачи на другие дни и отдохнуть. Тем более что у исследователей обычно ненормированный график, и в субботу я могу заняться дописыванием статьи. Тут главное — поймать момент, когда ты чувствуешь, что силы покидают и мотивация на исходе, а в нашей работе мотивация — это очень важно.

Чем я увлекаюсь, помимо науки

Мое основное хобби сейчас — это настольные игры. В своей работе я очень много времени провожу перед экраном, а для них не нужен компьютер. При этом у тебя включаются мозги, это и интеллектуально, и весело, и тактильно, и глаза не устают. У нас дома большая коллекция настольных игр, и она постоянно пополняется. Сейчас моя любимая — «Ticket to ride».

Что я недавно посмотрела

Фильм «Барби». И не осталась разочарованной. Это кино, которое совмещает в себе и юмор, и социальный подтекст. Казалось бы, детский контекст, история про кукол, но в этом фильме заложено очень много смыслов про права женщин, равенство между мужчинами и женщинами и их возможностями, что для нас в науке тоже важно.

Что я люблю читать

Я падка на сюжет, люблю детективные истории и триллеры, например книги Агаты Кристи или Стивена Кинга. Еще у меня был период увлечения книгами Дэна Брауна — «Код да Винчи», «Ангелы и демоны».

Любимое место в Москве

Чистые пруды, где расположен наш Институт образования. Весной или осенью очень приятно выходить из института и прогуливаться вдоль Чистопрудного бульвара. Пока идешь до метро, ловишь ощущение, что ты работаешь не просто в исследовательском институте, а в исследовательском институте в центре Москвы.

Совет молодым ученым

Не опускать руки. Академическая карьера — это непростой путь, к тому же  начинающим ученым-исследователям свойственны сомнения в том, что они делают. Главное — не оставаться с ними один на один. Если вы сомневаетесь, что исследование, которое вы делаете, кому-то нужно, поговорите с вашим научным руководителем, с другими коллегами. Гарантирую, что вы получите колоссальную поддержку, и она вас воодушевит.