Применение методов автоматической обработки языка для исследования освещения межэтнических отношений и других социально-проблемных тем в больших массивах пользовательских текстовApplying Automatic Language Processing To Investigate The Coverage Of Inter-Ethnic Relations And Other Socially Problematic Topics In Large Collections Of User-Generated Texts

Диссертация посвящена разработке методологии автоматического анализа письменной речи на русском языке для социологических задач, с фокусом на анализ репрезентаций этнических групп и межэтнических отношений в текстах социальных медиа. В работе тестируется применимость обширного набора новых вариаций алгоритмов машинного обучения к интерпретируемому анализу этих репрезентаций. Алгоритмы представлены двумя группами: тематическое моделирование, направленное на выявление имплицитных контекстов упоминания этнических групп и отношений между ними, и алгоритмы классификации, направленные на выявление заранее заданных классов отношений к этническим группам.  Алгоритмы тестируются на большом наборе специально созданных датасетов из сообщений социальных сетей, часть из которых размечена на категории, обоснованные социологическими теориями межэтнических отношений (включая язык вражды). В работе установлено, что на коллекциях, не обогащенных этнорелевантными текстами, тематическое моделирование эффективно только с частичным обучением, причем наиболее эффективно обучение на основе специально составленного словаря этнонимов. На обогащенных коллекциях обучение не требуется, однако при этом может происходить потеря текстов с имплицитным освещением тематики этничности. Также установлено, что классификация сообщений на классы уровня текста, такие как «наличие межэтнического конфликта», легко решается стандартными классификационными методами, тогда как задача классификации отношений к отдельным этническим группам в тексте требует работы на уровне вхождения именованной сущности «этическая группа» в текст, в связи с большой долей текстов, в которых упоминается более одной этнической группы. В этой задаче лучшие результаты получены при сочетании языковой модели Conversational RuBERT с нейросетевым алгоритмом, состоящим из одного плотного слоя. В работе даны рекомендации для пользователей алгоритмов машинного обучения по составлению коллекций, выбору настроек алгоритмов и интерпретации результатов совместного использования тематического моделирования и классификации.