Глубинное обучение

Бакалавриат 2021/2022

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Осокин Антон Александрович, Рубачёв Иван Викторович, Рябинин Максим Константинович

Язык: русский

Кредиты: 5

Контактные часы: 60

Полная версия программы учебной дисциплины

Аннотация

В последние году методы глубинного обучения (нейросети) позволили достигнуть впечатляющих успехов в решении прикладных задач из таких областей как компьтерное зрение, обработка естественного языка, обработка аудио. В рамках данного курса мы рассмотрим основные нейросетевые модели, а также способы их применения и обучения. Студенты получат навыки использования этих технологий в стандартных задачах, а также разработки и модификации методов для новых задач.

Цель освоения дисциплины

Ознакомление студентов с основными принципами применения методов, основанных на глубоких нейросетях, для решения задач машинного обучения.
Формирование у студентов практических навыков применения и обучения глубоких нейросетей в прикладных задачах анализа данных из таких областей как компьютерное зрение, обработка текстов, и др.

Планируемые результаты обучения

владеть навыками работы с библиотекой pytorch и ее документацией
владеть навыками реализации систем для обучения и использования нейросетей
владеть навыками реализации систем для обучения и использования нейросетей
владеть навыками тестирования и отладки существующих систем
знать виды задач, которые уместно решать при помощи методов глубинного обучения
знать виды задач, которые уместно решать при помощи методов глубинного обучения
знать наиболее часто используемые стандартные архитектуры и области их применимости
знать основные принципы построения моделей на основе нейросетей
знать стандартные алгоритмы обучения и регуляризации нейросетей
уметь обучать нейросетевые модели на новых наборах данных
уметь подбирать наиболее подходящий набор алгоритмов
уметь распознавать задачи, которые потенциально можно решить при помощи методов глубинного обучения

Содержание учебной дисциплины

Введение в глубинное обучение
Механика нейросетей и алгоритм обратного распространения ошибок
Основные виды нейросетей
Обучение и регуляризация нейросетей
Глубинное обучение для задач компьютерного зрения
Глубинное обучение для задач обработки текстов
Модель Трансформер и ее использование
Глубинное обучение для построения вероятностных моделей
Непрямые способы использования нейросетей
Встраивание алгоритмов в слои нейросетей
Недифференцируемые модели и глубинное обучение с подкреплением

Элементы контроля

Домашнее задание (ДЗ)
В рамках курса будет выдано 3 домашних задания
Экзамен (Э)
Малое домашнее задание (МДЗ)
Малые домашние задания выдаются каждую неделю по материалам лекций. В дополнение к домашним заданиям, возможно проведение проверочных работ на лекции. При этом баллы за каждую проверочную учитываются как еще одно МДЗ.

Промежуточная аттестация

2021/2022 учебный год 2 модуль
О_МДЗ: Оценки за малые домашние задания и проверочные работы. Общая оценка выставляется как среднее от всех оценок. О_ДЗ1, О_ДЗ2, О_ДЗ3: Итоговые оценки за домашние задания, шкала от 0 до 10. О_накопл: Накопленная оценка выставляется по итогам работы в семестре по следующей нелинейной формуле, шкала от 0 до 10. О_накопл := округление( 0.3 * О_МДЗ + 0.7 * ( О_ДЗ1 * w_ДЗ1 + О_ДЗ2 * w_ДЗ2 + О_ДЗ3 * w_ДЗ3 ) ), где веса w_ДЗ1, w_ДЗ2, w_ДЗ3 вычисляются при помощи взвешенной функции softmin. w_ДЗ1 := s_ДЗ1 / (s_ДЗ1 + s_ДЗ2 + s_ДЗ3) w_ДЗ2 := s_ДЗ2 / (s_ДЗ1 + s_ДЗ2 + s_ДЗ3) w_ДЗ3 := s_ДЗ3 / (s_ДЗ1 + s_ДЗ2 + s_ДЗ3) s_ДЗ1 := exp( -О_ДЗ1 / T) s_ДЗ2 := exp( -О_ДЗ2 / T) s_ДЗ3 := exp( -О_ДЗ3 / T) Значения параметров: T:= 20 О_Э: оценка за экзамен выставляется в шкале от 0 до 10. По взаимному согласию студента и преподавателя оценка за экзамен может быть выставлена равной накопленной оценке. Итоговая оценка вычисляется по формуле О_итог := округление(0.7 * О_накопл + 0.3 * О_Э)

Список литературы

Авторы

Осокин Антон Александрович

Программа дисциплины