Обучение с подкреплением в рекомендательных системах

В данной выпускной работе представлены усовершенствования для DRR (Deep Reinforcement Learning based Recommendation framework) системы (Liu et al., 2019).. Исходная реализация была взята из открытого репозитория RePlay (SB-AI-Lab, 2019). Особое было внимание уделено повышению скорости и эффективности алгоритма. Мы оптимизировали DRR, значительно уменьшив время обучения. Вдохновившись статьей Tiapkin et al. (2022), мы разработали и внедрили новый метод, Bayes-DDPG. Этот подход использует байесовское исследование с многоголовым критиком и гауссовским шумом. Эксперименты на наборе данных MovieLens с использованием метрик NDCG, HitRate и Coverage показали значительное улучшение качественных метрик оптимизированной системы DRR по сравнению с исходной реализацией. Усовершенствования алгоритма опубликованы в открытом доступе, что позволяет другим исследователям и практикам использовать и развивать наш подход.