2022/2023
Основы глубинного обучения
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Майнор
Где читается:
Факультет компьютерных наук
Когда читается:
1, 2 модуль
Онлайн-часы:
20
Охват аудитории:
для всех кампусов НИУ ВШЭ
Преподаватели:
Алвандян Нарек Аршакович,
Бредихин Александр Иванович,
Гельван Кирилл Павлович,
Гущин Михаил Иванович,
Кантонистова Елена Олеговна,
Карпов Максим Евгеньевич,
Ковалёв Алексей Константинович,
Масликов Егор Денисович,
Семенкин Антон Александрович,
Соколов Евгений Андреевич
Язык:
русский
Кредиты:
5
Контактные часы:
60
Программа дисциплины
Аннотация
Курс посвящён изучению современных методов машинного обучения, широко используемых в практических задачах. В первой части изучаются методы глубинного обучения: основы оптимизации, принципы обучения нейронных сетей, сети прямого распространения, архитектуры для работы с изображениями и текстовыми данными. Во второй части изучаются практические вопросы машинного обучения: подготовка данных, подбор гипепараметров, оптимизация модели под конкретную метрику, разработка признаков.
Цель освоения дисциплины
- Знать принципы обучения и применения нейронных сетей
- Знать основные архитектуры нейронных сетей
- Уметь обучать нейронные сети с помощью средств языка Python
- Уметь выполнять полный цикл решения задачи анализа данных
Планируемые результаты обучения
- Знать основные архитектуры нейронных сетей
- Знать принципы обучения и применения нейронных сетей
- Уметь выполнять полный цикл решения задачи анализа данных
Содержание учебной дисциплины
- Введение в глубинное обучение. Полносвязные слои.
- Метод обратного распространения ошибки. Свёртки и свёрточные слои.
- Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding.
- Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout.
- BatchNorm. Инициализации весов. Аугментация данных.
- Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet.
- Transfer learning. Интерпретация свёрточных сетей. Сегментация.
- Детекция объектов. Идентификация, metric learning.
- Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов.
- Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder.
- Механизм внимания и трансформеры
Промежуточная аттестация
- 2022/2023 учебный год 2 модуль0.4 * Домашнее задание + 0.1 * Проверочные работы + 0.3 * Экзамен + 0.2 * Контрольная работа
Список литературы
Рекомендуемая основная литература
- Trevor Hastie, Robert Tibshirani , et al., The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd edition, 2017. Free from the publisher: https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf
Рекомендуемая дополнительная литература
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.