Вакансии с портала HeadHunter

Данная дипломная работа посвящена исследованию такой задачи, как прогнозирование заработной платы по описанию вакансии. Основная цель работы заключается в том, чтобы исследовать возможности ряда методов и подходов из области анализа данных и машинного обучения в применении к решению данной задачи. В работе была реализована система для сбора и подготовки данных к анализу, были написаны парсеры для сбора дополнительных географических признаков, для очистки описания вакансий от HTML-тегов. Был проведен разведочный анализ данных, исследована взаимосвязь признаков с целевой переменной, были выделены наиболее информативные признаки, такие как наименование региона, профессиональная роль, валюта, в которой указана заработная плата, опыт работы, тип занятости, указан доход до вычета налогов или после. Были подобраны метрики качества для оценки моделей - использовались MAE и MAPE. На обработанных данных был обучен ряд моделей, были произведены обогащение и обработка данных с использованием таких методов, как геокодирование, преобразование TF-IDF, извлечение эмбеддингов из модели rubert-tiny. Исследовались такие модели, как случайный лес и Catboost. Для каждой обученной модели было оценено качество ее работы. Результаты экспериментов с обучением моделей были сведены в таблицу, был выявлен наилучший подход среди исследуемых. Наилучшее качество было достигнуто при использовании подхода, в рамках которого на наборе признаков и описании вакансии была построена модель Catboost, для которой с помощью перебора были подобраны подходящие гиперпараметры.