Тематическое моделирование обращений в службу технической поддержки

Интерес к задачам обобщения, выделению главного из текста или коллекции текстов неуклонно растет. Тематическое моделирование – выделение набора ключевых слов, характеризующих текст, находит все большее применение в научных исследованиях и бизнес задачах. В данной работе демонстрируется подход к решению практической бизнес задачи – выделению ключевых тем обращений в службу технической поддержки корпорации в 2023-2024 годах. Рассматриваются как классические (LDA) так и современные (BertTopic) подходы и инструменты решения данной задачи. Для классических механизмов (LDM модели) рассматриваются способы увеличения качества модели за счет предобоработки данных и тюнинга параметров модели – количество тем, технических параметров модели. Для современных (модели BertTopic\HDBSCAN) механизмов используются подходы как unsupervised обучения, так и обучения с подкреплением. Отдельно рассматривается возможность отслеживания появления среди обращений новых тем, что в контексте задачи по кластеризации обращений в службу технической поддержки, представляет особую ценность. Ключевые слова: LDA (Latent Dirichlet Allocation), Bert, BertTopic, тематическое моделирование, обращения в службу технической поддержки, ключевые темы