Нейронные сети в машинном обучении

2024/2025

Учебный год

RUS

Обучение ведется на русском языке

Кто читает:

Департамент прикладной математики

Статус:

Курс обязательный

Когда читается:

1-й курс, 2-4 модуль

Преподаватели

Асланов Андрей Борисович

Богатырев Евгений Николаевич

Грошев Максим Сергеевич

Ковальчук Александр Алексеевич

Рогачев Александр Игоревич

Храбров Кузьма Андреевич

Якубов Вячеслав Юсупович

Программа дисциплины

Аннотация

Курс посвящен изучению архитектур нейросетей, среди которых полносвязные, сверточные, рекуррентные, глубинные, генеративные и дискриминативные. Практическая часть курса предполагает обучение работы с библиотекой pytorch.

Цель освоения дисциплины

• Глубокое понимание нейронных сетей. Овладение теоретическими основами для критического взгляда на внутреннюю механику нейронных сетей.
• Применение в задачах машинного обучения. Навыки применения нейронных сетей в различных областях, от распознавания образов до обработки текста.
• Освоение глубокого обучения. Обучение использованию и оптимизации глубоких нейронных сетей.
• Работа с реальными данными. Навыки обработки и анализа реальных данных для эффективного обучения моделей.
• Разработка и исследование новых моделей. Развитие творческого мышления в создании и исследовании инновационных архитектур нейронных сетей.

Планируемые результаты обучения

• Знает, какие существуют области применения нейронных сетей
• Может реализовать Back propagation для MLP
• Знает, что такое Back propagation
• Понимает принципы реализации ветвящихся структур
• Знает, какие существуют практические проблемы методов в оптимизации
• Понимает, как реализовать метод Stochastic Gradient Descent (SGD)
• Может сравнить графики обучения для полносвязной нейросети на методах Adam, Adagrad, AdaDelta и SGD (на MNIST)
• Знает, какие существуют проблемы полносвязных нейронных сетей
• Понимает принципы работы Transfer learning
• Знает, как устроены архитектуры CNN
• Знает основные метрики детекции объектов на изображении
• Понимает, в каких ситуациях используется тот или иной подход
• Понимает, в каких ситуациях оптимально использовать Semantic Segmentation
• Может обучить U-Net модель отделения предметов от фона на корпусе Pascal VOC
• Понимает принцип работы LIME и какие проблемы он помогает решать
• Знает, что такое Grad-CAM и как он расширяет идеи CAM с использованием градиентов
• Понимает, как вычислительный граф RNN позволяет модели обрабатывать последовательные данные и какие вычисления выполняются на каждом этапе
• Может обучить модель классификации букв для задачи расстановки ударения с помощью методов из библиотеки transformers
• Знает, что такое генеративные модели и как они отличаются от других типов нейронных сетей
• Может реализовать Wasserstein GAN, используя weight clipping.
• Знает, что такое метод диффузии Денсона-Дохлера-Папано (DDPM) и как он применяется в генерации изображений
• Понимает принцип работы автокодировщиков и как происходит кодирование и декодирование данных в этой архитектуре
• Понимает основные алгоритмы для решения задачи многоруких бандитов и их применение в принятии решений в условиях неопределенности
• Понимает, как работает процесс передачи сообщений (message passing) в графовых структурах и как это может быть использовано для извлечения информации из графов
• Понимает, как графовое внимание (graph attention) улучшает обработку графов

Содержание учебной дисциплины

• Введение. Основы нейронных сетей
• Детали обучения нейронных сетей
• Свёрточные сети (CNN)
• Методы оптимизации
• Глубинные нейронные сети
• Детекция объектов на изображениях
• Сегментация
• Анализ нейронных сетей + Metric Learning
• Рекуррентные сети (RNN)
• Нейронные сети для обработки естественного языка
• Соперничающие сети (GAN)
• Вариационные автокодировщики (VAE) и Diffusion Models
• Обучение с подкреплением (RL)
• Графовые нейронные сети (GNN)

Элементы контроля

• Домашние задания
• Итоговый проект

Промежуточная аттестация

• 2024/2025 3rd module
  0.5 * Домашние задания + 0.5 * Итоговый проект

Список литературы

Рекомендуемая основная литература

• 9781838820046 - Lapan, Maxim - Deep Reinforcement Learning Hands-On : Apply Modern RL Methods to Practical Problems of Chatbots, Robotics, Discrete Optimization, Web Automation, and More, 2nd Edition - 2020 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2366458 - nlebk - 2366458
• Introduction to deep learning, Charniak, E., 2018
• The book of why : the new science of cause and effect, Pearl, J., 2018
• Глубокое обучение на Python, Шолле, Ф., 2019
• Глубокое обучение, Гудфеллоу, Я., 2017
• Обучение с подкреплением, Саттон, Р. С., 2011

Рекомендуемая дополнительная литература

• Learning from data : a short course, Abu-Mostafa, Y. S., 2012
• Molnar, C. (2018). iml: An R package for Interpretable Machine Learning. https://doi.org/10.5281/zenodo.1299058
• The hundred-page machine learning book, Burkov, A., 2019

Авторы

• Сластников Сергей Александрович
• Крепкер Виктор Алексеевич