Автоматическое упрощение текстов и их классификация по уровню владения иностранным языком

Цель исследования – создание моделей на основе трансформеров для классификации текстов по уровню сложности и для упрощения текстов до необходимого уровня. В работе рассмотрены существующие датасеты, метрики и подходы к упрощению текстов и их классификации по уровню владения языком. С использованием гибкой методологии разработки, web scraping, исследовательского анализа данных (exploratory data analysis), визуализации, дообучения моделей (fine-tuning) и автоматического оценивания их качества, были достигнуты следующие результаты. Был собран датасет для классификации текстов по уровню владения языком и для упрощения текстов. Был выполнен fine-tuning для восьми encoder моделей классификации текстов по уровню сложности и восемнадцати encoder-decoder моделей упрощения текста. Разработанное приложение оценивает время чтения, извлекает ключевые слова, анализирует лексику и грамматику, определяет сложность текста, упрощает его и генерирует упражнения.