Расширение возможностей диагностики механизма пропуска данных посредством машинного обучения

В социологических исследованиях часто возникают пропуски в данных, обусловленные различными причинами, например, отказом респондентов отвечать на тот или иной вопрос. При работе с неполными данными необходимо определить, какой механизм пропуска данных лежит в основе, чтобы выбрать соответствующие методы работы с данными. Диагностика механизмов пропусков данных позволяет исследователям понять, с каким механизмом недостающих данных они имеют дело: MCAR, MAR или MNAR. Современные методы диагностики имеют ограничения в различении случайных и неслучайных пропусков. Цель данного исследования заключается в изучении использования методов машинного обучения для расширения возможностей диагностики механизмов пропуска данных. Путем обучения нескольких моделей машинного обучения на искусственно сгенерированных подвыборках с пробелами были рассчитаны матрица ошибок и показатели качества, в частности, точность моделей. В результате HistGradientBoostingClassifier показал способность правильно классифицировать 57% выборочных наблюдений на тестовой выборке, особенно хорошо идентифицируя MNAR. Это позволило сделать вывод о применимости методов машинного обучения как для диагностики механизмов отсутствия данных в целом, так и для отделения неслучайных пропусков от случайных, и подчеркнуть потенциал работы в данном направлении для улучшения качества диагностики.