Синтаксическая сложность письменных текстов на русском и английском языках как иностранных

Настоящее исследование представляет собой всесторонний анализ синтаксической сложности русских и английских текстов, написанных носителями языка и изучающими его как иностранный. Проанализированы 20 показателей синтаксической сложности на уровне предложений, клауз и составляющих, а также их корреляция, взаимосвязь с уровнем владения языком и жанром. Мы предложили новый показатель, основанный на расстоянии Левенштейна на уровне клауз. Результаты показывают высокую корреляцию между метриками, основанными на длине предложений и клауз, и подчеркивают проблематичность индекса сочиненности (Coordination Index), обычно используемого в литературе. Мы также продемонстрировали, что сложность, как правило, возрастает с повышением уровня владения языком, при этом некоторые показатели выходят на плато на продвинутых уровнях. Меры синтаксической сложности также позволяют надежно различать тексты разных жанров; некоторые значения зависят от языка и различаются в русском и английском. Несмотря на неоднородность наших данных, некоторые показатели (а именно те, что основаны на длине, и относящиеся к составляющим) оказались полезны в задаче автоматического определения уровня владения языком. В качестве практического применения нашего исследования мы представляем syntaxcomp, Python-библиотеку для расчета показателей синтаксической сложности на основе разметки CoNLL-U.