Глубинное обучение 2

Бакалавриат 2024/2025

Статус: Курс обязательный (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Беляков Степан Иванович, Корягин Никита Сергеевич, Рубачёв Иван Викторович, Темирханов Азиз Арсенович

Язык: русский

Кредиты: 5

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

В последние году методы глубинного обучения (нейросети) позволили достигнуть впечатляющих успехов в решении прикладных задач из таких областей как компьтерное зрение, обработка естественного языка, обработка аудио. В рамках данного курса мы рассмотрим основные нейросетевые модели, а также способы их применения и обучения. Студенты получат навыки использования этих технологий в стандартных задачах, а также разработки и модификации методов для новых задач.

Цель освоения дисциплины

Знать основные принципы построения моделей на основе нейросетей.
Знать стандартные алгоритмы обучения и регуляризации нейросетей.
Уметь обучать нейросетевые модели на новых наборах данных.
Уметь подбирать наиболее подходящий набор алгоритмов.
Уметь распознавать задачи, которые потенциально можно решить при помощи методов глубинного обучения.

Планируемые результаты обучения

владеть навыками работы с библиотекой pytorch и ее документацией
владеть навыками реализации систем для обучения и использования нейросетей
владеть навыками тестирования и отладки существующих систем
знать виды задач, которые уместно решать при помощи методов глубинного обучения
знать наиболее часто используемые стандартные архитектуры и области их применимости

Содержание учебной дисциплины

Введение. Организация DL экспериментов
Компьютерное зрение. Архитектуры
Компьютерное зрение. Сегментация
Компьютерное зрение. Детекция
Компьютерное зрение. 3D, NeRF, implicit representations
Трансформеры часть 1, Эффективные трансформеры, архитектурные модификации
Трансформеры часть 2, Большые языковые модели, Prompting, Interpretability
Генеративные модели часть 1
Генеративные модели часть 2
Графовые нейронные сети
Нейронные сети на табличных данных
Теории и эмпирическая наука про обучение нейронных сетей
Lifelong Learning

Элементы контроля

Маленькие домашние задания
Дз выдаются после семинаров, всего в курсе 8 маленьких домашних заданий (все задания в формате jupyter тетрадок в которых нужно дописать код).
Большие домашние задания
В курсе два больших задания. Они выдаются после лекций и семинаров про Трансформеры и Генеративные модели, на 3 недели. В заданиях требуется обучить систему (первое дз - языковая модель, второе дз - генеративная модель изображений), провести эксперименты и подготовить отчёт о работе. Оценивается код и отчёт.
Экзамен
Экзамен проводится в письменной форме. В варианте 4 вопроса теоретического минимума и 6 задач (суммарно на 10 баллов). Ответы на вопросы теоретического минимума непосредственно влияют на оценку за экзамен: При неответе на любой один вопрос из оценки за экзамен вычитается штраф в 2 балла. При неответе на любых два вопроса оценка за экзамен – 0 баллов. В рамках ответа на все вопросы необходимо написать и объяснить формулы. Во время экзамена запрещено пользоваться любыми материалами, экзамен проводится очно и онлайн в Zoom.

Промежуточная аттестация

2024/2025 2nd module
Итог = Округление(0.3 * Э + 0.7 * Н) Н = 0.4 * МДЗ + 0.6 * БДЗ МДЗ = средняя оценка за все маленькие домашние задания БДЗ = средняя оценка за все большие домашние задания

Список литературы

Авторы

Осокин Антон Александрович
Кононова Елизавета Дмитриевна

Программа дисциплины