Определение типов ошибок в решениях задач онлайн-курсов по программированию

Обучающие онлайн-курсы по программированию становятся все более популярными, но все же имеют существенные недостатки по сравнению с традиционной системой образования, такие как слабая обратная связь. В данном исследовании применялись методы машинного обучения для улучшения обратной связи автоматизированных систем проверки решений задач по программированию. Здесь предлагается подход, который позволяет выдавать подсказки о том, как исправить код для данного некорректного решения. Для достижения этой цели частые типы ошибок были выявлены путем кластеризации известных неправильных решений, далее кластеры были размечены вручную и получившаяся выборка использовалась для определения типа ошибки в новых решениях. Чтобы сгруппировать и классифицировать похожие ошибки, а не похожие решения, расстояния между решениями считались на основе сценариев их редактирования. Было реализовано и исследовано несколько подходов к обнаружению частых типов ошибок и назначению кластеров новым представлениям. Предлагаемый подход оценивался на наборе данных, предоставляемом популярной онлайн-платформой обучения.