Автоматический частеречный анализ для китайского языка с привлечением данных параллельного корпуса

Цель настоящего исследования — системно последовательно сравнить существующие инструменты для частеречной разметки в китайском языке, доступные для языка Python, и построить модель с использованием параллельных данных Русско-китайского параллельного корпуса НКРЯ. Сейчас в корпусе нет частеречной разметки для китайского языка, поэтому актуальность данной работы заключается в поиске оптимальной модели для данных корпуса. Частеречная разметка — одна из базовых задач автоматической обработки естественного языка. Несмотря на то, что задача частеречной разметки для китайского языка сравнительно хорошо решена, на данных корпуса, содержащих оригинальные и переводные тексты из художественной литературы, традиционные модели могут оказаться менее эффективными. Китайский, как язык с изолирующей морфологией и иероглифической письменностью, представляет ряд трудностей для частеречной разметки. Современные алгоритмы для частеречной разметки — нейросетевые парсеры для совместного частеречного анализа и сегментации предложения. Менее популярный подход, обычно использующийся для малоресурсных языков, заключается в использовании данных пословно выровненного параллельного корпуса. В этой работе мы вручную разметили золотой стандарт для сравнения моделей, провели сопоставительный анализ наборов тегов частей речи китайского языка в различных стандартах, а также построили нейросетевую модель с использованием параллельных русско-китайских данных.