Deep Learning

2024/2025

Academic Year

RUS

Instruction in Russian

6

ECTS credits

Delivered at:

Joint Department with Sberbank ‘Financial Technologies and Data Analysis’

Course type:

Compulsory course

When:

1 year, 3, 4 module

Instructors

Derkach, Denis

Тарасов Дмитрий Юрьевич

Программа дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.

Цель освоения дисциплины

• Овладеть теоретическими основами нейронных сетей
• Освоить пакет Pytorch
• Научиться решать прикладные задачи с помощью нейронных сетей

Планируемые результаты обучения

• Провести ряд экспериментов
• Проанализировать результаты
• Владеть теоретическими основами нейронных сетей
• Знать пакет Pytorch
• Уметь решать прикладные задачи с помощью нейронных сетей

Содержание учебной дисциплины

• Введение в глубинное обучение
• Обучение нейронных сетей. Алгоритм обратного распространения ошибки
• Функции активации. Инициализация весов
• Оптимизация. Регуляризация
• Сверточные нейронные сети
• Рекуррентные нейронные сети
• Механизм внимания, трансформеры
• Глубинное обучение и Computer Vision
• Глубинное обучение и Natural Language
• Processing
• Генеративные модели

Элементы контроля

• Домашнее задание “Weight-init”
• Домашнее задание “Dropout”
• Домашнее задание “Pytorch-basics”
• Домашнее задание “Batchnorm”
• Домашнее задание “Activations”
• Домашнее задание “Optimization”
• Домашнее задание “Transformer Attention”
• Домашнее задание “Letters”
• Домашнее задание “RNN Attention”
• Домашнее задание “VAE”
• Домашнее задание “Diffusion”

Промежуточная аттестация

• 2024/2025 4th module
  0.05 * Домашнее задание “Activations” + 0.05 * Домашнее задание “Batchnorm” + 0.1 * Домашнее задание “Diffusion” + 0.05 * Домашнее задание “Dropout” + 0.2 * Домашнее задание “Letters” + 0.1 * Домашнее задание “Optimization” + 0.1 * Домашнее задание “Pytorch-basics” + 0.1 * Домашнее задание “RNN Attention” + 0.1 * Домашнее задание “Transformer Attention” + 0.1 * Домашнее задание “VAE” + 0.05 * Домашнее задание “Weight-init”

Список литературы

Рекомендуемая основная литература

• Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Deep learning, Kelleher, J. D., 2019

Авторы

• Деркач Денис Александрович
• Яковлева Илона Александровна
• Тарасов Дмитрий Юрьевич