Глубинное обучение 2

2024/2025

Учебный год

RUS

Обучение ведется на русском языке

5

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

4-й курс, 1, 2 модуль

Преподаватели

Беляков Степан Иванович

Корягин Никита Сергеевич

Рубачёв Иван Викторович

Темирханов Азиз Арсенович

Программа дисциплины

Аннотация

В последние годы методы глубинного обучения (нейросети) позволили достигнуть впечатляющих успехов в решении прикладных задач из таких областей как компьтерное зрение, обработка естественного языка, обработка аудио. В рамках данного курса мы рассмотрим основные нейросетевые модели, а также способы их применения и обучения. Студенты получат навыки использования этих технологий в стандартных задачах, а также разработки и модификации методов для новых задач.

Цель освоения дисциплины

• Знать основные принципы построения моделей на основе нейросетей.
• Знать стандартные алгоритмы обучения и регуляризации нейросетей.
• Уметь обучать нейросетевые модели на новых наборах данных.
• Уметь подбирать наиболее подходящий набор алгоритмов.
• Уметь распознавать задачи, которые потенциально можно решить при помощи методов глубинного обучения.

Планируемые результаты обучения

• владеть навыками работы с библиотекой pytorch и ее документацией
• владеть навыками реализации систем для обучения и использования нейросетей
• владеть навыками тестирования и отладки существующих систем
• знать виды задач, которые уместно решать при помощи методов глубинного обучения
• знать наиболее часто используемые стандартные архитектуры и области их применимости

Содержание учебной дисциплины

• Введение. Организация DL экспериментов
• Компьютерное зрение. Архитектуры
• Компьютерное зрение. Сегментация
• Компьютерное зрение. Детекция
• Компьютерное зрение. 3D, NeRF, implicit representations
• Трансформеры часть 1, Эффективные трансформеры, архитектурные модификации
• Трансформеры часть 2, Большые языковые модели, Prompting, Interpretability
• Генеративные модели часть 1
• Генеративные модели часть 2
• Графовые нейронные сети
• Нейронные сети на табличных данных
• Теории и эмпирическая наука про обучение нейронных сетей
• Lifelong Learning

Элементы контроля

• Маленькие домашние задания
  Дз выдаются после семинаров, всего в курсе 8 маленьких домашних заданий (все задания в формате jupyter тетрадок в которых нужно дописать код).
• Большие домашние задания
  В курсе два больших задания. Они выдаются после лекций и семинаров про Трансформеры и Генеративные модели, на 3 недели. В заданиях требуется обучить систему (первое дз - языковая модель, второе дз - генеративная модель изображений), провести эксперименты и подготовить отчёт о работе. Оценивается код и отчёт.
• Экзамен
  Экзамен проводится в письменной форме. В варианте 4 вопроса теоретического минимума и 6 задач (суммарно на 10 баллов). Ответы на вопросы теоретического минимума непосредственно влияют на оценку за экзамен: При неответе на любой один вопрос из оценки за экзамен вычитается штраф в 2 балла. При неответе на любых два вопроса оценка за экзамен – 0 баллов. В рамках ответа на все вопросы необходимо написать и объяснить формулы. Во время экзамена запрещено пользоваться любыми материалами, экзамен проводится очно и онлайн в Zoom.

Промежуточная аттестация

• 2024/2025 2nd module
  Итог = Округление(0.3 * Э + 0.7 * Н) Н = 0.4 * МДЗ + 0.6 * БДЗ МДЗ = средняя оценка за все маленькие домашние задания БДЗ = средняя оценка за все большие домашние задания

Список литературы

Рекомендуемая основная литература

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Гласснер, Э. Глубокое обучение без математики : справо / Э. Гласснер , перевод с английского В. А. Яроцкого. — Москва : ДМК Пресс, [б. г.]. — Том 1 : Основы — 2019. — 578 с. — ISBN 978-5-97060-701-5. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/131696 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
• Гласснер, Э. Глубокое обучение без математики. Том 2. Практика : руководство / Э. Гласснер , перевод с английского В. А. Яроцкого. — Москва : ДМК Пресс, 2020. — 610 с. — ISBN 978-5-97060-767-1. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/131710 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Авторы

• Осокин Антон Александрович
• Кононова Елизавета Дмитриевна