Определение категорий товаров на основе данных интернет-магазинов используя многотемную классификацию

Данная работа представляет набор потенциальных методов, которые могут быть применены в отрасли. для категоризации или применения тегов для продуктов. Процесс включает в себя сбор данных, применение исследовательского анализа данных, предварительную обработку данных, выбор метрик для проверки и выбора эффективной стратегии обучения и оценки. Сбор наборов данных включает в себя поиск подходящих текстовых данных с иерархическими категориями в качестве целевой переменной. Нам удалось найти 4 набора данных различных как по размеру, так и по качеству, что делает экспериментальный процесс многогранным. Исследовательский анализ данных с последующей обработкой проводится с использованием как встроенных функции Python, так и внешних библиотек, таких как pandas, numpy, nltk, wordcloud и других известных библиотек, используемых в индустрии. Кроме того, выбираются методы векторизации для дальнейшего применения к обработанным данным с использованием различных моделей. С точки зрения метрик мы выбрали семь метрик для оценки: точность подмножества; (классическая точность), адаптированная точность, точность (микро и макро), полнота (микро и макро) и потеря Хэмминга. Мы применили 15 различных подходов, из которых 6 различных моделей, 2 из которых являются предварительно обученными моделями на основе семейства нейронных сетей BERT: BERT и DeBERTa, а также использовали другие модели машинного обучения, такие как RakelO, ML-KNN, CatBoostClassifier и ClassifierChain. Для каждой модели машинного обучения мы применили методы векторизации. На основе полученных результатов мы видим, что выбор ML-KNN с TF-IDF показывает стабильно высокие результаты для любого набора данных, в то время как RakelO с TF-IDF или с Word2Vec хорошо работает с многомерными данными. Более того, небольшой размер набора данных может привести к переобучению моделей на основе нейронных сетей, таких как BERT или DeBERTa.