Магистратура 2021/2022

Психометрические теории и анализ тестовых заданий

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Измерения в психологии и образовании)

Направление: 37.04.01. Психология

Кто читает: Институт образования

Где читается: Институт образования

Когда читается: 2-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Карданова Елена Юрьевна, Федерякин Денис Александрович

Прогр. обучения: Измерения в психологии и образовании

Язык: русский

Кредиты: 3

Контактные часы: 46

Программа дисциплины

Аннотация

Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.

Цель освоения дисциплины

• Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
• Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.

Планируемые результаты обучения

• владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов
• владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
• выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
• знать основы классической теории тестирования
• знать основы современной теории тестирования IRT
• использовать в анализе основные модели IRT
• исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
• оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
• оценивать соответствие модели данным
• правильно применять политомические модели IRT
• применять дихотомические модели IRT
• применять методы оценивания параметров модели
• проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
• проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
• В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения
• В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения R
• В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения R и WinBUGS
• В результате освоения темы студент должен владеть практическими навыками использования нестандартных методов для анализа конкретных инструментов оценивания в социальных науках
• В результате освоения темы студент должен владеть практическими навыками использования нестандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в социальных науках
• В результате освоения темы студент должен знать IRT-модели, направленные на классификацию респондентов и заданий
• В результате освоения темы студент должен знать основные виды искажений результатов тестирования
• В результате освоения темы студент должен знать основные методы выявления искажений результатов тестирования
• В результате освоения темы студент должен знать основы байесовской статистики и психометрики
• В результате освоения темы студент должен знать основы компьютерного тестирования
• В результате освоения темы студент должен знать продвинутые модели современной теории тестирования
• В результате освоения темы студент должен знать различные способы установления пороговых баллов
• В результате освоения темы студент должен знать современные психометрические парадигмы
• В результате освоения темы студент должен знать способы анализа сопоставимости заданий
• В результате освоения темы студент должен знать способы моделирования изменений латентных конструктов во времени
• В результате освоения темы студент должен знать способы преодоления несопоставимости задний
• В результате освоения темы студент должен обладать навыками разработки новых психометрических моделей, учитывающих контекст ситуации измерения
• В результате освоения темы студент должен уметь выбирать наиболее подходящие психометрические методы под поставленные задачи
• В результате освоения темы студент должен уметь выбирать наиболее подходящие психометрические модели под поставленные задачи
• В результате освоения темы студент должен уметь ориентироваться в потоке научной информации для поиска нужных математических моделей и методов анализа для решения психометрических проблем
• В результате освоения темы студент должен уметь оценивать качество сложных измерений с точки зрения различных подходов к измерениям
• В результате освоения темы студент должен уметь проводить анализ сложных измерений
• В результате освоения темы студент должен уметь проводить анализ сложных измерений

Содержание учебной дисциплины

• Тема 1. Основы классической теории тестирования
• Методы установления пороговых баллов
• Тема 2. Анализ тестовых заданий в рамках классической теории тестирования
• Искажения результатов в тестированиях и методы их выявления
• Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестирования
• IRT как частный случай GLMM (HGLM)
• Тема 5. Основные математические модели IRT. Модели Раша
• Сетевая психометрика
• Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.
• Введение в адаптивное компьютерное тестирование
• Тема 6. Методы оценивания параметров моделей
• Многомерные модели современной теории тестирования, сходства и различия CFA и IRT, политомические модели IRT
• Тема 7. Оценивание адекватности эмпирических данных модели измерения.
• Дифференцированное функционирование заданий
• Тема 8. Общий анализ теста в рамках IRT
• Категориальные и порядковые латентные переменные: модели латентной смеси распределений, когнитивные диагностические модели и анализ латентных классов
• Тема 9. Дихотомические модели IRT. Выбор модели
• Вертикальное выравнивание. Измерение прогресса. Модели роста
• Тема10. Основные политомические модели IRT
• Байесовский подход в психометрике
• Тема 11. Измерения в психологии с использованием шкал Ликерта
• Тема 12. Анализ измерительных свойств заданий в IRT.
• Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
• Тема 14. Общий анализ теста. Представление результатов
• Тема 15. Измерение латентных переменных в социальных и экономических сферах.

Элементы контроля

• Домашние проекты
• Контрольная
• Экзамен
• Оценка за первый год обучения
• Экзамен
• Текущий контроль

Промежуточная аттестация

• 2020/2021 учебный год 4 модуль
  0.2 * Контрольная + 0.5 * Домашние проекты + 0.3 * Экзамен
• 2021/2022 учебный год 2 модуль
  0.2 * Экзамен + 0.5 * Оценка за первый год обучения + 0.3 * Текущий контроль

Список литературы

Рекомендуемая основная литература

• A gentle introduction to Bayesian analysis: Applications to developmental research. (2014). Child Development, 85, 842–860. https://doi.org/10.1111/cdev.12169
• A. F. M. Smith, & A. E. Gelfand. (1992). Bayesian Statistics without tears: A sampling-resampling perspective.
• Akihito Kamata. (2002). Procedure to Perform Item Response Analysis by Hierarchical Generalized Linear Model.
• Andrew Gelman, Xiao-li Meng, & Hal Stern. (1996). Posterior Predictive Assessment of Model Fitness Via Realized Discrepancies.
• Becker, K. A., Bergstrom, B. A., Practical Assessment, & Research. (2019). Test Administration Models. Practical Assessment, Research, and Evaluation.
• Brunner, M., Nagy, G., & Wilhelm, O. (2012). A Tutorial on Hierarchically Structured Constructs. Journal of Personality, 80(4), 796–846. https://doi.org/10.1111/j.1467-6494.2011.00749.x
• Conor V. Dolan, Raoul P. P. P. Grasman, Jelte M. Wicherts, Hilde M. Huizenga, & Maartje E. J. Raijmakers. (2006). A dynamical model of general intelligence: the positive manifold of intelligence by mutualism. Psychological Review.
• David Magis, & Gilles Raîche. (2012). Random Generation of Response Patterns under Computerized Adaptive Testing with the R Package catR. Journal of Statistical Software, 48(8).
• David Magis, & Juan Ramon Barrada. (2017). Computerized Adaptive Testing with R: Recent Updates of the Package catR. Journal of Statistical Software, 76(1), 1–19. https://doi.org/10.18637/jss.v076.c01
• De Boeck, P., Bakker, M., Zwitser, R., Nivard, M., Hofman, A., Tuerlinckx, F., & Partchev, I. (2011). The Estimation of Item Response Models with the lmer Function from the lme4 Package in R. Journal of Statistical Software, i12.
• De Champlain, A. F. (1999). An Overview of Nonlinear Factor Analysis and Its Relationship to Item Response Theory. Statistical Report. LSAC Research Report Series.
• Gelman, A., & Shalizi, C. R. (2010). Philosophy and the practice of Bayesian statistics. https://doi.org/10.1111/j.2044-8317.2011.02037.x
• George, A. C., & Robitzsch, A. (2015). Cognitive Diagnosis Models in R: A didactic. Tutorials in Quantitative Methods for Psychology, 11(3), 189–205. https://doi.org/10.20982/tqmp.11.3.p189
• Hannah Frick, Carolin Strobl, Fredrich Leisch, & Achim Zeileis. (2012). Flexible Rasch Mixture Models with Package psychomix. Journal of Statistical Software, 48(7).
• Introduction to classical and modern test theory, Crocker, L., 2008
• Isabel Maia, Milton Severo, & Ana Cristina Santos. (2020). Application of the mixture item response theory model to the Self-Administered Food Security Survey Module for Children. PLoS ONE, 15(1), e0228099. https://doi.org/10.1371/journal.pone.0228099
• Justyna Brzezińska. (2018). Latent Class Analysis in the Evaluation of Items in Survey Research. Econometrics. Advances in Applied Data Analysis, 22(3), 55–65. https://doi.org/10.15611/eada.2018.3.04
• Marsman, M., Borsboom, D., Kruis, J., Epskamp, S., van Bork, R., Waldorp, L. J., Maas, H. L. J. van der, & Maris, G. (2017). An Introduction to Network Psychometrics: Relating Ising Network Models to Item Response Theory Models. Multivariate Behavioral Research ; Volume 53, Issue 1, Page 15-35 ; ISSN 0027-3171 1532-7906. https://doi.org/10.1080/00273171.2017.1379379
• McGuire, L. W. (2010). Practical Formulations of the Latent Growth Item Response Model.
• Paul De Boeck, Marjan Bakker, Robert Zwitser, Michel Nivard, Abe Hofman, Francis Tuerlinckx, & Ivailo Partchev. (2011). The Estimation of Item Response Models with the lmer Function from the lme4 Package in R. Journal of Statistical Software, 39(12).
• Paul W. Holland, & Howard Wainer. (2009). Differential Item Functioning. Routledge.
• R. Philip Chalmers. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6).
• Roy Levy, & Robert J. Mislevy. (2016). Bayesian Psychometric Modeling. Chapman and Hall/CRC.
• Stephen P. Brooks, & Gareth O. Roberts. (1997). Assessing Convergence of Markov Chain Monte Carlo Algorithms.
• Terry E. Duncan, Susan C. Duncan, & Lisa A. Strycker. (2006). An Introduction to Latent Variable Growth Curve Modeling : Concepts, Issues, and Application, Second Edition. Routledge.
• Thompson, N. A., Weiss, D. A., Practical Assessment, & Research. (2019). A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research, and Evaluation.
• Tutz, G. (2020). A Taxonomy of Polytomous Item Response Models.
• Vandemeulebroecke, M., Bornkamp, B., Krahnke, T., Mielke, J., Monsch, A., & Quarg, P. (2017). A Longitudinal Item Response Theory Model to Characterize Cognition Over Time in Elderly Subjects. https://doi.org/10.1002/psp4.12219
• Wanichtanom, R. (2001). Methods of Detecting Differential Item Functioning: A Comparison of Item Response Theory and Confirmatory Factor Analysis. Psychology Theses & Dissertations.
• Wim Van den Noortgate, Paul De Boeck, & Michel Meulders. (2003). Cross-Classification Multilevel Logistic Models in Psychometrics. Journal of Educational and Behavioral Statistics, 4, 369.
• Yanping Duan, Borui Shang, Wei Liang, Min Yang, & Walter Brehm. (2020). Psychosocial profiles of physical activity fluctuation in office employees: A latent profile analysis. PLoS ONE, 15(1), e0227182. https://doi.org/10.1371/journal.pone.0227182

Рекомендуемая дополнительная литература

• A.M. Hol. (2006). A cat with personality and attitude : computerized adaptive testing of personality and attitude attributes with polytomous items.
• Ackerman, T. A. (1994). Using Multidimensional Item Response Theory to Understand What Items and Tests Are Measuring. Applied Measurement in Education, 7(4), 255. https://doi.org/10.1207/s15324818ame0704_1
• Bias and equivalence in cross-cultural assessment:An overview. (1997). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6EF6D868
• Bing Jia, Xue Zhang, & Zhemin Zhu. (2019). A Short Note on Aberrant Responses Bias in Item Response Theory. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.00043
• Burgos, J. G. (2010). Bayesian Methods in Psychological Research: The case of IRT. International Journal of Psychological Research, 3(1), 164–176.
• Bürkner, P.-C. (2019). Bayesian Item Response Modeling in R with brms and Stan.
• David Magis, Duanli Yan, & Alina A. von Davier. (2017). Computerized Adaptive and Multistage Testing with R : Using Packages CatR and MstR. Springer.
• Epskamp, S., Maris, G. K. J., Waldorp, L. J., & Borsboom, D. (2016). Network Psychometrics.
• Explanatory item response models: a generalized linear and nonlinear approach. (2005). Journal of Educational Measurement, 42(3), 303–307. https://doi.org/10.1111/j.1745-3984.2005.00016.x
• Frank Rijmen, Paul De Boeck, & K. U. Leuven. (2002). The random weights linear logistic test model.
• Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2014). Bayesian Data Analysis (Vol. Third edition). Boca Raton: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1763244
• George Karabatsos. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.65A5753E
• Halil Ibrahim SARI, Hasibe YAHSI SARI, & Anne Corinne HUGGINS MANLEY. (2016). Computer Adaptive Multistage Testing: Practical Issues, Challenges and Principles. Journal of Measurement and Evaluation in Education and Psychology, 7(2), 388–406. https://doi.org/10.21031/epod.280183
• Hambleton, R. K., & Rovinelli, R. J. (1986). Assessing the Dimensionality of a Set of Test Items. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED270478
• Han Bao, & Robert J. Mislevy. (n.d.). LOCAL DEPENDENCE - 1- Running head: ASSESSING LOCAL DEPENDENCE IN BUILDING EXPLANATION TASKS Assessing Local Item Dependence in Building Explanation Tasks An Application of the Multidimensional Random Coefficients Multinomial Logit Item Bundle Model. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.5E21519B
• Huynh Huynh. (1994). On equivalence between a partial credit item and a set of independent Rasch binary items. Psychometrika, (1), 111. https://doi.org/10.1007/BF02294270
• Jorge González, & Marie Wiberg. (2017). Applying Test Equating Methods : Using R (Vol. 1ST ed. 2017). Springer.
• Kane, M. (2000). Current Concerns in Validity Theory. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED446094
• Keith A. Markus, & Denny Borsboom. (2013). Frontiers of Test Validity Theory : Measurement, Causation, and Meaning. Routledge.
• Kruschke, J. K. . V. (DE-588)143634666, (DE-627)662785142, (DE-576)346169313, aut. (2015). Doing Bayesian data analysis a tutorial with R, JAGS, and Stan John K. Kruschke, Dept. of Psychological and Brain Sciences, Indiana University, Bloomington.
• Lanza, S. T. (2016). Latent Class Analysis for Developmental Research. https://doi.org/10.1111/cdep.12163
• Lanza, S. T., & Cooper, B. R. (2016). Latent Class Analysis for Developmental Research. Child Development Perspectives, 10(1), 59–64. https://doi.org/10.1111/cdep.12163
• Levy, R. (2016). Advances in Bayesian Modeling in Educational Research. Educational Psychologist, 51(3/4), 368–380. https://doi.org/10.1080/00461520.2016.1207540
• Li, H. (2016). Estimation of Q-matrix for DINA Model Using the Constrained Generalized DINA Framework. https://doi.org/10.7916/D88W3DB2
• Lim, R. L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83. https://doi.org/10.1207/s15324818ame0601_5
• Linda M. Collins, & Stephanie T. Lanza. (2010). Latent Class and Latent Transition Analysis : With Applications in the Social, Behavioral, and Health Sciences. Wiley.
• McElreath, R. (2016). Statistical Rethinking : A Bayesian Course with Examples in R and Stan. Boca Raton: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1338291
• Paek, I., & Cho, S.-J. (2014). A Note on Parameter Estimate Comparability: Across Latent Classes in Mixture IRT Modeling. https://doi.org/10.1177/0146621614549651
• Purwo Susongko, Mobinta Kusuma, & Heru Widiatmo. (2019). Using Rasch Model to Detect Differential Person Functioning and Cheating Behavior in Natural Sciences Learning Achievement Test. Jurnal Penelitian Dan Pembelajaran IPA, 5(2), 94–111. https://doi.org/10.30870/jppi.v5i2.5945
• Purya Baghaei, & Klaus D. Kubinger. (2014). Linear Logistic Test Modeling with R.
• Raymond J. Adams, Mark Wilson, & Margaret Wu. (1997). Multilevel Item Response Models: An Approach to Errors in Variables Regression. Journal of Educational and Behavioral Statistics, 1, 47.
• Reckase, M. (2009). Multidimensional Item Response Theory. Dordrecht: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=287869
• Ronald K. Hambleton, & Russell W. Jones. (n.d.). ========================= = ITEMS. Instructional Topics in Educational Measurement ========================= An NCME Instructional Module on Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.46F2C9F0
• Roy Levy. (2009). The Rise of Markov Chain Monte Carlo Estimation for Psychometric Modeling. Journal of Probability and Statistics, 2009. https://doi.org/10.1155/2009/537139
• Scheuneman, J. D., & Bleistein, C. A. (1989). A Consumer’s Guide to Statistics for Identifying Differential Item Functioning. Applied Measurement in Education, 2(3), 255. https://doi.org/10.1207/s15324818ame0203_6
• SORGENTE, A., LANZ, M., SERIDO, J., TAGLIABUE, S., & SHIM, S. (2019). Latent Transition Analysis: Guidelines and an Application to Emerging Adults’ Social Development. TPM: Testing, Psychometrics, Methodology in Applied Psychology, 26(1), 39–72. https://doi.org/10.4473/TPM26.1.3
• Thomas, S. (1994). Standard setting in The Netherlands: impact of the human factor on guideline development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3F7B9D2F
• Tijmstra, J., Bolsinova, M., & Jeon, M. (2018). General mixture item response models with different item response structures: Exposition with an application to Likert scales. https://doi.org/10.3758/s13428-017-0997-0
• Vermunt, J. K. (2010). Latent Class Modeling with Covariates: Two Improved Three-Step Approaches. https://doi.org/10.1093/pan/mpq025
• Wenchao Ma, & Jimmy de la Torre. (2020). GDINA: An R Package for Cognitive Diagnosis Modeling. Journal of Statistical Software, 93(1), 1–26. https://doi.org/10.18637/jss.v093.i14
• Xiuyun Wu, Richard Sawatzky, Wilma Hopman, Nancy Mayo, Tolulope T. Sajobi, Juxin Liu, Jerilynn Prior, Alexandra Papaioannou, Robert G. Josse, Tanveer Towheed, K. Shawn Davison, & Lisa M. Lix. (2017). Latent variable mixture models to test for differential item functioning: a population-based analysis. Health and Quality of Life Outcomes, 15(1), 1–13. https://doi.org/10.1186/s12955-017-0674-0
• Yong, L. (2018). Item Parameter Recovery for the Two-Parameter Testlet Model with Different Estimation Methods. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1806.10009

Авторы

• Федерякин Денис Александрович
• Карданова Елена Юрьевна
• Антипкина Инна Вениаминовна