Сравнительный анализ оценки письменных работ студентов преподавателем и языковой моделью искусственного интеллекта

Искусственный интеллект (ИИ) развивается в ускоренном темпе и привносит все больше изменений во все аспекты человеческой деятельности, включая и сферу образования. Одно из нововведений в этой области — автоматическая проверка письменных работ учащихся с использованием нейросетей для выставления оценок. Искусственный интеллект также обладает функцией предоставления обратной связи и предложений по улучшению текстов. Системы автоматизированного оценивания могут существенно снизить академическую нагрузку преподавателей, особенно в сфере изучения иностранных языков, где письменные задания являются важной частью образовательной программы, а их тщательная проверка занимает много времени. Как и любая другая новая технология, системы автоматизированного оценивания, основанные на ИИ, требуют детальной проверки процесса работы. Данное исследование направлено на изучение точности и постоянства выставления оценок за письменные работы студентов, изучающих английский язык как иностранный, произведенного преподавателем и нейросетями на основе ИИ. Актуальность исследования обусловлена активным развитием искусственного интеллекта и связанных с его использованием технологий: системы автоматического оценивания письменных работ могут ускорить процесс работы преподавателей, но, учитывая, какую важность имеет исправление ошибок и точность выставления оценок в процессе изучения иностранного языка, перед внедрением в образовательный процесс они требуют тщательной проверки. Исследование включает в себя проведение эксперимента по сравнению оценок и обратной связи от преподавателя и двух ИИ-программ с функционалом использования в качестве систем автоматической проверки письменных работ: ChatGPT и Essaygrader.ai. Методология работы включает смешанный подход с применением качественных и количественных методов: количественный компонент исследования заключается в проведении статистического и сравнительного анализа с представлением результатов в формате сопоставительной таблицы с демонстрацией оценок за эссе, проставленных искусственным интеллектом и преподавателем; качественный компонент работы включает развернутое сравнение обратной связи, предоставленной нейросетями и преподавателем, а также определение внешних факторов, которые могут иметь влияние на аспекты выставления оценок человеком и нейросетью, и, следовательно, воздействовать на результаты данного исследования. Набор данных для исследования состоит из 40 эссе, написанных студентами Высшей школы экономики, изучающими английский язык как иностранный. Каждое эссе из 40 было оценено преподавателем и двумя рассматриваемыми нейросетями — ChatGPT and Essaygrader.ai — согласно одинаковому набору из пяти критериев. Десять эссе были проверены повторно для изучения постоянства выставления оценок. Пять эссе были отобраны для проведения детального анализа обратной связи. И оценки, полученные за эссе, и обратная связь от преподавателя и искусственного интеллекта были сопоставлены с целью демонстрации текущего уровня развития автоматических систем оценивания письменных работ. Теоретическая значимость исследования заключается в предоставлении сведений о состоянии сферы оценивания письменных заданий нейросетями. Полученные результаты могут быть использованы как преподавателями, заинтересованными в изучении новой технологии оценивания эссе и готовыми использовать ее в работе, так и разработчиками и тестировщиками систем искусственного интеллекта, подходящих для автоматической оценки текстовых работ. Практическая значимость исследования представлена сравнительной таблицей оценок, проставленных нейросетями: эти данные могут быть использованы для дальнейших исследований — например, диахронического анализа эволюции систем автоматической оценки или синхронического исследования результатов работы других систем автоматического оценивания эссе на основе искусственного интеллекта.