Бакалавриат
2022/2023
Глубинное обучение
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Преподаватели:
Котельников Аким Константинович,
Осокин Антон Александрович,
Рубачёв Иван Викторович,
Рябинин Максим Константинович
Язык:
русский
Кредиты:
5
Контактные часы:
60
Программа дисциплины
Аннотация
В последние году методы глубинного обучения (нейросети) позволили достигнуть впечатляющих успехов в решении прикладных задач из таких областей как компьтерное зрение, обработка естественного языка, обработка аудио. В рамках данного курса мы рассмотрим основные нейросетевые модели, а также способы их применения и обучения. Студенты получат навыки использования этих технологий в стандартных задачах, а также разработки и модификации методов для новых задач.
Цель освоения дисциплины
- Знать основные принципы построения моделей на основе нейросетей.
- Знать стандартные алгоритмы обучения и регуляризации нейросетей.
- Уметь обучать нейросетевые модели на новых наборах данных.
- Уметь подбирать наиболее подходящий набор алгоритмов.
- Уметь распознавать задачи, которые потенциально можно решить при помощи методов глубинного обучения.
Планируемые результаты обучения
- владеть навыками работы с библиотекой pytorch и ее документацией
- владеть навыками реализации систем для обучения и использования нейросетей
- владеть навыками тестирования и отладки существующих систем
- знать виды задач, которые уместно решать при помощи методов глубинного обучения
- знать наиболее часто используемые стандартные архитектуры и области их применимости
Содержание учебной дисциплины
- Введение в глубинное обучение
- Механика нейросетей и алгоритм обратного распространения ошибок
- Основные виды нейросетей
- Обучение и регуляризация нейросетей
- Глубинное обучение для задач компьютерного зрения
- Глубинное обучение для задач обработки текстов
- Модель Трансформер и ее использование
- Глубинное обучение для построения вероятностных моделей
- Непрямые способы использования нейросетей
- Встраивание алгоритмов в слои нейросетей
- Недифференцируемые модели и глубинное обучение с подкреплением
Промежуточная аттестация
- 2022/2023 учебный год 2 модульИтоговая формула выставления оценки выглядит следующим образом: О_результ = round(0.3*О_экз + 0.7*О_накоп) О_накоп = 0.3*О_small + 0.7*O_big Если накопленная оценка >= 6 после округления, то есть возможность получить автомат за курс O_small = среднее по МДЗ и проверочным O_big = O_1*w1 + O_2*w2 + O_3*w3 (оценки за большие дз с весами) [w1, w2, w3] = softmin([O_1, O_2, O_3]/20)
Список литературы
Рекомендуемая основная литература
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.