2024/2025

Основы глубинного обучения

Статус: Майнор

Кто читает: Департамент больших данных и информационного поиска

Онлайн-часы: 20

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Блуменау Марк Ильич, Кантонистова Елена Олеговна, Соколов Евгений Андреевич, Сусла Диана Михайловна, Червяков Артем Александрович

Язык: русский

Кредиты: 5

Программа дисциплины

Аннотация

Курс посвящён изучению современных методов машинного обучения, широко используемых в практических задачах. В первой части изучаются методы глубинного обучения: основы оптимизации, принципы обучения нейронных сетей, сети прямого распространения, архитектуры для работы с изображениями и текстовыми данными. Во второй части изучаются практические вопросы машинного обучения: подготовка данных, подбор гипепараметров, оптимизация модели под конкретную метрику, разработка признаков.

Цель освоения дисциплины

• Знать принципы обучения и применения нейронных сетей
• Знать основные архитектуры нейронных сетей
• Уметь обучать нейронные сети с помощью средств языка Python
• Уметь выполнять полный цикл решения задачи анализа данных

Планируемые результаты обучения

• Знать основные архитектуры нейронных сетей
• Знать принципы обучения и применения нейронных сетей
• Уметь выполнять полный цикл решения задачи анализа данных

Содержание учебной дисциплины

• Введение в глубинное обучение. Полносвязные слои.
• Метод обратного распространения ошибки. Свёртки и свёрточные слои.
• Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding.
• Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout.
• BatchNorm. Инициализации весов. Аугментация данных.
• Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet.
• Transfer learning. Интерпретация свёрточных сетей. Сегментация.
• Детекция объектов. Идентификация, metric learning.
• Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов.
• Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder.
• Механизм внимания и трансформеры

Элементы контроля

• Домашнее задание
  За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента. При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
• Проверочные работы
• Контрольная работа
• Экзамен

Промежуточная аттестация

• 2024/2025 учебный год 2 модуль
  0.4 * Домашнее задание + 0.2 * Контрольная работа + 0.1 * Проверочные работы + 0.3 * Экзамен

Список литературы

Рекомендуемая основная литература

• Trevor Hastie, Robert Tibshirani , et al., The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd edition, 2017. Free from the publisher: https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf

Рекомендуемая дополнительная литература

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Авторы

• Соколов Евгений Андреевич