Методы и средства морфологической сегментации для систем автоматической обработки текстовMethods and tools of morphological segmentation for natural language processing systems

Традиционные и хорошо исследованные задачи автоматического морфологического анализа включают приведение словоформы к нормальной форме (лемме), определение ее морфологических характеристик, а также разрешение морфологической омонимии. К морфологическому анализу относится также менее исследованная задача морфологической сегментации, подразумевающее разбиение слова на составляющие морфы с их классификацией. В данной диссертационной работе исследуются и разрабатываются модели на основе машинного обучения для морфемного разбора словоформ русского языка, с целью повышения точности сегментации и производительности соответствующих программных моделей. Впервые предложена модель на основе сверточной нейронной сети, с высокой точностью выполняющая морфологическую сегментацию словоформ русского языка, а не только лемм. Также разработана нейросетевая объединенная модель, которая кроме морфологической сегментации словоформ, позволяет предварительно уточнить их морфологические характеристики, решая задачу снятия омонимии. Помимо высокой точности обе модели показывают производительность, достаточную для решения практических задач. На основе разработанных моделей реализован морфологический анализатор русского языка с открытым исходным кодом XMorphy, выполняющий как традиционные функции морфологического анализа, так и морфологическую сегментацию лемм и словоформ.