• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2020/2021

Углубленные методы в психометрике и основы вычислительной психометрики

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус: Курс по выбору (Измерения в психологии и образовании)
Направление: 37.04.01. Психология
Когда читается: 2-й курс, 1, 2 модуль
Формат изучения: без онлайн-курса
Преподаватели: Карданова Елена Юрьевна, Федерякин Денис Александрович
Прогр. обучения: Измерения в психологии и образовании
Язык: русский
Кредиты: 6
Контактные часы: 30

Программа дисциплины

Аннотация

Целями освоения дисциплины «Углубленные методы в психометрике и основы вычислительной психометрики» является овладение студентами основными теоретическими принципами и практическими навыками продвинутого анализа данных структурированных измерений (тестов и опросников) с использованием современной психометрической методологии. Изучение дисциплины «Углубленные методы в психометрике и основы вычислительной психометрики» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов», «Психометрические теории и анализ тестовых за-даний». Ожидается, что одновременной освоение данной дисциплины с дисциплиной «Углубленные методы анализа данных в социальных науках: многоуровневый регрессионный анализ и структурное моделирование» позволит освоить обе дисциплины более легко, и укрепить знания и практические навыки студентов. Для освоения учебной дисциплины студенты должны владеть следующими знаниями и компетенциями: - знать базовые и продвинутые методы анализа данных; - знать основные понятия и принципы теории измерений в образовании и психологии; - знать основы современной теории тестирования.
Цель освоения дисциплины

Цель освоения дисциплины

  • Овладение студентами основными теоретическими принципами и практическими навыками продвинутого анализа данных структурированных измерений (тестов и опросников) с использованием современной психометрической методологии
Планируемые результаты обучения

Планируемые результаты обучения

  • В результате освоения темы студент должен знать продвинутые модели современной теории тестирования
  • В результате освоения темы студент должен уметь выбирать наиболее подходящие психометрические модели под поставленные задачи
  • В результате освоения темы студент должен уметь ориентироваться в потоке научной информации для поиска нужных математических моделей и методов анализа для решения психометрических проблем
  • В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения R
  • В результате освоения темы студент должен владеть практическими навыками использования нестандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в социальных науках
  • В результате освоения темы студент должен уметь проводить анализ сложных измерений
  • В результате освоения темы студент должен уметь оценивать качество сложных измерений с точки зрения различных подходов к измерениям
  • В результате освоения темы студент должен знать основы компьютерного тестирования
  • В результате освоения темы студент должен знать IRT-модели, направленные на классификацию респондентов и заданий
  • В результате освоения темы студент должен знать способы моделирования изменений латентных конструктов во времени
  • В результате освоения темы студент должен знать современные психометрические парадигмы
  • В результате освоения темы студент должен владеть практическими навыками использования нестандартных методов для анализа конкретных инструментов оценивания в социальных науках
  • В результате освоения темы студент должен знать основы байесовской статистики и психометрики
  • В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения R и WinBUGS
  • В результате освоения темы студент должен обладать навыками разработки новых психометрических моделей, учитывающих контекст ситуации измерения
Содержание учебной дисциплины

Содержание учебной дисциплины

  • IRT как частный случай GLMM (HGLM)
    случайные эффекты и фиксированные эффекты. Формулирование IRT-моделей как частного случая GLMM: вложенные элементы и элементы фасетов, методы оценки параметров, дизайн-матрица, достаточная статистика в GLMM. Обобщения IRT-моделей на многомерные случаи через парадигму GLMM: between-item многомерность. Экспланаторные модели IRT: модель латентной регрессии и Latent Linear Test model (LLTM). Многоуровневые IRT модели. Модели с пересеченными случайными эффектами и Random Item модели IRT: LLTM+e. Экспланаторные 2PL модели. Использование пакетов lme4 и TAM среды R для расчета IRT-моделей.
  • Многомерные модели современной теории тестирования
    Разные подходы к моделированию многомерности данных. Between & within-item многомерность. Within-item многмоерность: Компенсаторные и некомпенсаторные многомерные модели IRT. Моделирование бифакторных структур: тестлет-модели и модели-рование локальной зависимости заданий. Between-item многомерность. Модели с факторами второго порядка. Использование пакетов TAM, lavaan и lme4 среды R для расчета многомерных IRT-моделей.
  • Введение в адаптивное компьютерное тестирование
    Введение в компьютерное тестирование (КТ). Модели КТ: Линейное тестирование, Случайный выбор заданий, LOFT, Многоступенчатое тестирование, Компьютерное адаптивное тестирование. КАТ: структура, механизмы, практические проблемы. Правила ядра КАТ: начало, следующий вопрос, начисление баллов, остановка. Симуляционные исследования. Использование симуляций для определения пара-метров КАТ: варьирование правил КАТ для выбора оптимальных правил. Дизайн симуляционного исследования. Анализ результатов симуляций. Пакет catR для проведения симуляций.
  • Категориальные и порядковые латентные переменные: модели латентной смеси распределений, когнитивные диагностические модели и анализ латентных классов
    Альтернативный подход к латентным переменным: категориальные латентные переменные. Введение в анализ латентных классов и анализ латентных профилей. Структурированный анализ латентных классов в психометрических данных: введение в модели когнитивной диагностики. Совмещение интервальных и категориальных латентных переменных: Модели латентной смеси распределений. Использование пакетов psychomix и poLCA и CDM.
  • Вертикальное выравнивание. Измерение прогресса. Модели роста
    Вертикальное вырывание. Связывание шкал. Принципы и проблемы выравнивания. Подходы к моделированию роста. Рост как количественное и качественное изменение. Модели количественного изменения: модели латентного роста из факторного анализа, модель Андерсена, симплексная модель (модель Embertson, модель Jöreskog), экспланаторные IRT-модели роста (линейная и полиномиальная). Модели качественного изменения: Latent Transition Analysis. Совместное моделирование количественного и качественного изменения: Latent Mixture Growth models. Saltus model. Использование различных пакетов R для решения задачи моделирования роста.
  • Сетевая психометрика
    Основные концепты современной сетевой психометрики. Новые подходы к валидности и предсказанию наблюдаемого поведения. Модели графов. Модель Изинга и Раш-модель – их сходства и различия. Гауссовская графовая модель и факторный анализ. Экспланаторные сетевые модели. Пакетs psychonetrics и qgraph среды R для расчета и визуализации сетевых психометрических моделей.
  • Байесовский подход в психометрике
    Байесовская вероятность и статистика. Байесовский поход в теории IRT. Моделирование сложных конструктов с помощью байесовских сетей. Оценивание параметров методами EM и МСМС. Критерии для оценки и сравнения моделей в байесовском подходе. Использование WinBUGS.
Элементы контроля

Элементы контроля

  • неблокирующий Презентация по одной из тем
  • неблокирующий Участие в дискуссии по презентации
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (2 модуль)
    0.4 * Презентация по одной из тем + 0.2 * Участие в дискуссии по презентации + 0.4 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • A gentle introduction to Bayesian analysis: Applications to developmental research. (2014). Child Development, 85, 842–860. https://doi.org/10.1111/cdev.12169
  • A. F. M. Smith, & A. E. Gelfand. (1992). Bayesian Statistics without tears: A sampling-resampling perspective.
  • Abarda, A., Dakkon, M., Azhari, M., Zaaloul, A., & Khabouze, M. (2020). Latent Transition Analysis (LTA) : A Method for Identifying Differences in Longitudinal Change Among Unobserved Groups. https://doi.org/10.1016/j.procs.2020.03.059
  • Akihito Kamata. (2002). Procedure to Perform Item Response Analysis by Hierarchical Generalized Linear Model.
  • An introduction to network psychometrics: Relating ising network models to item response theory models. (2018). Multivariate Behavioral Research, 53(1), 15–35. https://doi.org/10.1080/00273171.2017.1379379
  • Andrew Gelman, Xiao-li Meng, & Hal Stern. (1996). Posterior Predictive Assessment of Model Fitness Via Realized Discrepancies.
  • Brunner, M., Nagy, G., & Wilhelm, O. (2012). A Tutorial on Hierarchically Structured Constructs. Journal of Personality, 80(4), 796–846. https://doi.org/10.1111/j.1467-6494.2011.00749.x
  • Conor V. Dolan, Raoul P. P. P. Grasman, Jelte M. Wicherts, Hilde M. Huizenga, & Maartje E. J. Raijmakers. (2006). A dynamical model of general intelligence: the positive manifold of intelligence by mutualism. Psychological Review.
  • David Magis, & Gilles Raîche. (2012). Random Generation of Response Patterns under Computerized Adaptive Testing with the R Package catR.
  • Duan, Y., Shang, B., Liang, W., Yang, M., & Brehm, W. (2020). Psychosocial profiles of physical activity fluctuation in office employees: A latent profile analysis. https://doi.org/10.1371/journal.pone.0227182
  • Gelman, A., & Shalizi, C. R. (2010). Philosophy and the practice of Bayesian statistics. https://doi.org/10.1111/j.2044-8317.2011.02037.x
  • George, A. C., & Robitzsch, A. (2015). Cognitive Diagnosis Models in R: A didactic. https://doi.org/10.20982/tqmp.11.3.p189
  • Hannah Frick, Carolin Strobl, Fredrich Leisch, & Achim Zeileis. (2012). Flexible Rasch Mixture Models with Package psychomix.
  • Justyna Brzezińska. (2018). Latent Class Analysis in the Evaluation of Items in Survey Research. Econometrics. Advances in Applied Data Analysis, 22(3), 55–65. https://doi.org/10.15611/eada.2018.3.04
  • Kirk A. Becker, & Betty A. Bergstrom. (2013). Test Administration Models.
  • Magis, D., & Barrada, J. R. (2017). Computerized Adaptive Testing with R: Recent Updates of the Package catR. https://doi.org/10.18637/jss.v076.c01
  • Maia, I., Severo, M., & Santos, A. C. (2020). Application of the mixture item response theory model to the Self-Administered Food Security Survey Module for Children. PLoS ONE, 15(1), 1–15. https://doi.org/10.1371/journal.pone.0228099
  • McGuire, L. W. (2010). Practical Formulations of the Latent Growth Item Response Model.
  • Nathan A. Thompson, & David J. Weiss. (2011). A Framework for the Development of Computerized Adaptive Tests. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.FF885EF4
  • P. de Boeck, M. Bakker, R. Zwitser, M. Nivard, A. Hofman, F. Tuerlinckx, & I. Partchev. (2011). The estimation of item response models with the lmer function from the lme4 package in R.
  • Paul De Boeck, Marjan Bakker, Robert Zwitser, Michel Nivard, Abe Hofman, Francis Tuerlinckx, & Ivailo Partchev. (2011). The Estimation of Item Response Models with the lmer Function from the lme4 Package in R.
  • R. Philip Chalmers. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.D16FC362
  • Roy Levy, & Robert J. Mislevy. (2016). Bayesian Psychometric Modeling. Chapman and Hall/CRC.
  • State of the aRt personality research: A tutorial on network analysis of personality data in R. (2015). Journal of Research in Personality, 54, 13–29. https://doi.org/10.1016/j.jrp.2014.07.003
  • Stephen P. Brooks, & Gareth O. Roberts. (1997). Assessing Convergence of Markov Chain Monte Carlo Algorithms.
  • Terry E. Duncan, Susan C. Duncan, & Lisa A. Strycker. (2006). An Introduction to Latent Variable Growth Curve Modeling : Concepts, Issues, and Application, Second Edition. Routledge.
  • Vandemeulebroecke, M., Bornkamp, B., Krahnke, T., Mielke, J., Monsch, A., & Quarg, P. (2017). A Longitudinal Item Response Theory Model to Characterize Cognition Over Time in Elderly Subjects. CPT: Pharmacometrics & Systems Pharmacology, 6(9), 635–641. https://doi.org/10.1002/psp4.12219
  • Wim Van den Noortgate, Paul De Boeck, & Michel Meulders. (2003). Cross-Classification Multilevel Logistic Models in Psychometrics. Journal of Educational and Behavioral Statistics, 4, 369.

Рекомендуемая дополнительная литература

  • A.M. Hol. (2006). A cat with personality and attitude : computerized adaptive testing of personality and attitude attributes with polytomous items.
  • Ackerman, T. A. (1994). Using Multidimensional Item Response Theory to Understand What Items and Tests Are Measuring. Applied Measurement in Education, 7(4), 255. https://doi.org/10.1207/s15324818ame0704_1
  • Burgos, J. G. (2010). Bayesian Methods in Psychological Research: The case of IRT. International Journal of Psychological Research, 3(1), 164–176.
  • Bürkner, P.-C. (2019). Bayesian Item Response Modeling in R with brms and Stan.
  • David Magis, Duanli Yan, & Alina A. von Davier. (2017). Computerized Adaptive and Multistage Testing with R : Using Packages CatR and MstR. Springer.
  • Explanatory item response models: a generalized linear and nonlinear approach. (2005). Journal of Educational Measurement, 42(3), 303–307. https://doi.org/10.1111/j.1745-3984.2005.00016.x
  • Frank Rijmen, Paul De Boeck, & K. U. Leuven. (2002). The random weights linear logistic test model.
  • Frontiers of test validity theory: measurement, causation, and meaning. (2013). Routledge. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsnar&AN=edsnar.oai.dare.uva.nl.publications.56b9825f.0348.46b0.af80.5b15a4f2afe0
  • Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2014). Bayesian Data Analysis (Vol. Third edition). Boca Raton: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1763244
  • Halil Ibrahim SARI, Hasibe YAHSI SARI, & Anne Corinne HUGGINS MANLEY. (2016). Computer Adaptive Multistage Testing: Practical Issues, Challenges and Principles. https://doi.org/10.21031/epod.280183
  • Han Bao, & Robert J. Mislevy. (n.d.). LOCAL DEPENDENCE - 1- Running head: ASSESSING LOCAL DEPENDENCE IN BUILDING EXPLANATION TASKS Assessing Local Item Dependence in Building Explanation Tasks An Application of the Multidimensional Random Coefficients Multinomial Logit Item Bundle Model. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.5E21519B
  • Handbook of modern item response theory. (1997). Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsnar&AN=edsnar.oai.ris.utwente.nl.publications.f571c80f.feb2.468c.b242.c1fcab28a45d
  • Jorge González, & Marie Wiberg. (2017). Applying Test Equating Methods : Using R (Vol. 1ST ed. 2017). Springer.
  • Kruschke, J. K. . V. (DE-588)143634666, (DE-627)662785142, (DE-576)346169313, aut. (2015). Doing Bayesian data analysis a tutorial with R, JAGS, and Stan John K. Kruschke, Dept. of Psychological and Brain Sciences, Indiana University, Bloomington.
  • Lanza, S. T., & Cooper, B. R. (2016). Latent Class Analysis for Developmental Research. Child Development Perspectives, 10(1), 59–64. https://doi.org/10.1111/cdep.12163
  • Levy, R. (2016). Advances in Bayesian Modeling in Educational Research. Educational Psychologist, 51(3/4), 368–380. https://doi.org/10.1080/00461520.2016.1207540
  • Li, H. (2016). Estimation of Q-matrix for DINA Model Using the Constrained Generalized DINA Framework. https://doi.org/10.7916/D88W3DB2
  • Linda M. Collins, & Stephanie T. Lanza. (2010). Latent Class and Latent Transition Analysis : With Applications in the Social, Behavioral, and Health Sciences. Wiley.
  • McElreath, R. (2016). Statistical Rethinking : A Bayesian Course with Examples in R and Stan. Boca Raton: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1338291
  • Network Psychometrics (Vol. 2). (2018). Wiley. https://doi.org/10.1002/9781118489772.ch30
  • Paek, I., & Cho, S.-J. (2014). A Note on Parameter Estimate Comparability: Across Latent Classes in Mixture IRT Modeling. https://doi.org/10.1177/0146621614549651
  • Purya Baghaei, & Klaus D. Kubinger. (2014). Linear Logistic Test Modeling with R.
  • Raymond J. Adams, Mark Wilson, & Margaret Wu. (1997). Multilevel Item Response Models: An Approach to Errors in Variables Regression. Journal of Educational and Behavioral Statistics, 1, 47.
  • Reckase, M. (2009). Multidimensional Item Response Theory. Dordrecht: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=287869
  • Roy Levy. (2009). The Rise of Markov Chain Monte Carlo Estimation for Psychometric Modeling. https://doi.org/10.1155/2009/537139
  • SORGENTE, A., LANZ, M., SERIDO, J., TAGLIABUE, S., & SHIM, S. (2019). Latent Transition Analysis: Guidelines and an Application to Emerging Adults’ Social Development. TPM: Testing, Psychometrics, Methodology in Applied Psychology, 26(1), 39–72. https://doi.org/10.4473/TPM26.1.3
  • Tijmstra, J., Bolsinova, M., & Jeon, M. (2018). General mixture item response models with different item response structures: Exposition with an application to Likert scales. https://doi.org/10.3758/s13428-017-0997-0
  • Vermunt, J. K. (2010). Latent Class Modeling with Covariates: Two Improved Three-Step Approaches. https://doi.org/10.1093/pan/mpq025
  • Wenchao Ma, & Jimmy de la Torre. (2020). GDINA: An R Package for Cognitive Diagnosis Modeling. Journal of Statistical Software, 93(1), 1–26. https://doi.org/10.18637/jss.v093.i14