Reinforcement Learning

2024/2025

Academic Year

RUS

Instruction in Russian

3

ECTS credits

Delivered at:

Joint Department with Sberbank ‘Financial Technologies and Data Analysis’

Course type:

Elective course

When:

2 year, 2 module

Программа дисциплины

Аннотация

Цель курса - ознакомление студентов с основными подходами и алгоритмами обучения с подкреплением. Планируется дать понимание того, какие существуют подходы к решению задач обучения с подкреплением, научить выбирать подход и алгоритм, наиболее подходящий для рассматриваемой студентом задачи, научить обучать модели с использованием современных нейросетевых библиотек.

Цель освоения дисциплины

• уметь распознавать ситуации, в которых уместно применение методов обучения с подкреплением
• уметь сформулировать задачу обучения с подкреплением и выбрать эффективный способ её решения
• знать основные парадигмы обучения с подкреплением и границы их применимости
• уметь обучить по возможности оптимального агента для решения задачи, оценить его эффективность

Планируемые результаты обучения

• владеть методами теоретического исследования используемых алгоритмов
• знать основные парадигмы обучения с подкреплением и границы их применимости
• знать что такое среда, состояние и агент в обучении с подкреплением
• уметь обучить по возможности оптимального агента для решения задачи, оценить его эффективность
• уметь сформулировать задачу обучения с подкреплением и выбрать эффективный способ её решения

Содержание учебной дисциплины

• Многорукие бандиты
• Марковские процессы
• Аппроксимация
• Непрерывное пространство действий
• Actor-Critic
• Model-Based

Элементы контроля

• Тесты
  7 тестов по материалам лекций и семинаров
• Проект

Промежуточная аттестация

• 2024/2025 2nd module
  0.5 * Проект + 0.5 * Тесты

Список литературы

Рекомендуемая основная литература

• Глубокое обучение с подкреплением : теория и практика на языке Python, Грессер, Л., 2022
• Саттон, Р. С. Обучение с подкреплением: введение : руководство / Р. С. Саттон, Э. Д. Барто , перевод с английского А. А. Слинкина. — Москва : ДМК Пресс, 2020. — 552 с. — ISBN 978-5-97060-097-9. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/179453 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Wiering, M., & Otterlo, M. van. (2012). Reinforcement Learning : State-of-the-Art. Berlin: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=537744
• Обучение с подкреплением, Саттон, Р. С., 2011

Авторы

• Яковлева Илона Александровна