Вакансии с портала HeadHunter

Целью данной работы является разработка модели, позволяющей предсказать заработную плату по описанию вакансии. Проект состоит из следующих этапов: постановка задачи, сбор данных, их предобработка, создание модели и реализация сервиса. В качестве источника данных был использован агрегатор Head Hunter, предоставляющий свой API для парсинга характеризующих вакансии сведений. Сформированный датасет состоит из 300000 вакансий, размещенных в 2021 году. Ко всем характеристикам применены соответствующие методы предобработки в зависимости от типа данных, вида представления, распределения значений и т. д. В работе представлены этапы предварительной обработки для подготовки данных к использованию в различных моделях. Для решения задачи разработан ряд моделей машинного обучения разных архитектур и на основе нескольких наборов признаков. Значения выбранных метрик разработанного алгоритма по сравнению с метриками созданного в качестве бейзлайна аналитического решения демонстрируют важность используемых моделью признаков и её общую обобщающую способность. С использованием лучшей модели создан сервис на основе бота telegram, позволяющий по ссылке на вакансию на портале Head Hunter предсказывать заработную плату. Для этого воспроизводится весь пайплайн, описанный ранее: сбор данных с портала Head Hunter, предобработка признаков и применение модели. Описанный интерфейс позволяет реализовать инференс модели на новых вакансиях.