Целевое обучение с подкреплением через советы экспертов

В данной работе представлен новый подход, способный уменьшить время обучения алгоритмов с подкреплением. Основная концепция предложенного метода состоит в разделении процесса обучения агента на две стадии. На первой стадии агент выучивает несколько локально оптимальных политик (оптимальные для некоторого подмножества начальных состояний), используя идеи целевого обучения, где очередная цель (некоторое состояние среды) поступает агенту от эксперта —— другого агента (одного или нескольких), который действует оптимально из некоторого подмножества состояний. На второй стадии обучаемый агент пытается построить глобально-оптимальную политику путём объединения выученных ранее стратегий. Для множества не самых сложных сред стандартный метод, использующий градиент по политике (policy gradient method), выучивает лишь локально-оптимальную политику, в то время как предложенный в работе подход за счет разделения процесса обучения на две стадии и получаемой информации от экспертов позволяет лучше исследовать среду в случае разреженной награды и не заканчивать обучение в неподходящей локально-оптимальной политике. В работе показано, что даже если изначально об экспертах неизвестно практически ничего —— не известна политика каждого эксперта, а также множество состояний, из которых каждый из экспертов действует оптимально, все равно возможно извлечь полезную информацию из получаемых агентом целей для ускорения процесса обучения. Представлено подробное экспериментальное сравнение стандартного алгоритма, использующего градиент по политике (policy gradient method), с новым алгоритмом, а также приведен способ борьбы с разреженной наградой, который наследует идеи экспертного обучения.