Бакалавриат
2022/2023![Learning Objectives](/f/src/global/i/edu/objectives.svg)
![Expected Learning Outcomes](/f/src/global/i/edu/results.svg)
![Course Contents](/f/src/global/i/edu/sections.svg)
![Assessment Elements](/f/src/global/i/edu/controls.svg)
![Interim Assessment](/f/src/global/i/edu/intermediate_certification.svg)
![Bibliography](/f/src/global/i/edu/library.svg)
Глубинное обучение 1
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
3-й курс, 1-3 модуль
Формат изучения:
с онлайн-курсом
Онлайн-часы:
20
Охват аудитории:
для своего кампуса
Преподаватели:
Барановская Дарья Геннадьевна,
Биршерт Алексей Дмитриевич,
Садртдинов Ильдус Рустемович
Язык:
английский
Кредиты:
4
Контактные часы:
52
Course Syllabus
Abstract
The course is dedicated to studying deep learning, which is the most rapidly developing field of machine learning. The course attendees will learn what konds of machine learning tasks can be solved using neural networks and what types of neural networks are currently in use. The course has a clear practical focus, students will have to train neural networks on the PyTorch framework using the Python programming language. The course also covers tasks related to images and texts.
Learning Objectives
- Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
- Владение фреймворком PyTorch для обучения нейронных сетей.
- Понимать различные задачи, которые решаются с применением глубинного обучения.
Expected Learning Outcomes
- Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
Course Contents
- Графы вычислений, полносвязные нейронные сети.
- Оптимизация нейронных сетей.
- Сверточные нейронные сети
- Современные сверточные архитектуры
- Рекуррентные нейронные сети, обработка текстов
- Архитектура трансформера
- Задачи компьютерного зрения
- Обработка текстов (энкодинги, эмбеддинги)
- Применения трансформеров в компьютерном зрении
- Self-supervision, BERT
- Дистилляция, квантизация, прунинг
- Состязательные атаки
- Генеративные модели
Assessment Elements
- МДЗ 1 (Маленькое домашнее задание)Обучение нейронных сетей на numpy, полносвязные нейронные сети
- МДЗ 4 (Маленькое домашнее задание)Архитектура трансформера
- МДЗ 2 (Маленькое домашнее задание)Сверточные нейронные сети
- МДЗ 3 (Маленькое домашнее задание)Генерация музыки рекуррентными нейронными сетями
- ПР 3 (Проверочная работа)Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
- ПР 1 (Проверочная работа)Полносвязные нейронные сети, оптимизация нейронных сетей
- ПР 2 (Проверочная работа)Обработка изображений, сверточные нейронные сети
- МДЗ 5 (Маленькое домашнее задание)Self-supervision
- МДЗ 6 (Маленькое домашнее задание)Соревновательные атаки, генеративно-состязательные сети
- ПР 4 (Проверочная работа)Self-supervision, дистилляция, квантизация, прунинг, соревновательные атаки, генеративно-состязательные сети
- ЭкзаменПисьменный, в аудитории, материалами пользоваться не разрешается, 2 часа
- БДЗ 1 (Большое домашнее задание)Классификация изображений, формат соревнования
- БДЗ 2 (Большое домашнее задание)Машинный перевод, формат соревнования
Interim Assessment
- 2022/2023 3rd module0.3 * Экзамен + 0.042 * МДЗ 5 (Маленькое домашнее задание) + 0.037 * ПР 4 (Проверочная работа) + 0.042 * МДЗ 2 (Маленькое домашнее задание) + 0.15 * БДЗ 2 (Большое домашнее задание) + 0.042 * МДЗ 4 (Маленькое домашнее задание) + 0.037 * ПР 2 (Проверочная работа) + 0.037 * ПР 3 (Проверочная работа) + 0.15 * БДЗ 1 (Большое домашнее задание) + 0.037 * ПР 1 (Проверочная работа) + 0.042 * МДЗ 6 (Маленькое домашнее задание) + 0.042 * МДЗ 3 (Маленькое домашнее задание) + 0.042 * МДЗ 1 (Маленькое домашнее задание)
Bibliography
Recommended Core Bibliography
- Глубокое обучение, Гудфеллоу, Я., 2018
Recommended Additional Bibliography
- Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705