Магистратура 2024/2025

Нейронные сети и глубокое обучение

Статус: Курс обязательный (Магистр по наукам о данных)

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 2-й курс, 2, 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Саночкин Юрий Ильич

Язык: английский

Course Syllabus

Abstract

Курс "Нейронные сети и глубокое обучение" посвящен изучению нейросетевых моделей и их применению для решения прикладных задач. В рамках курса студенты освоят навыки развертывания нейросетей для анализа изображений и текста, подготовки и обработки данных для обучения, оценки качества моделей и диагностики проблем. Особое внимание уделяется практическим аспектам: студенты научатся демонстрировать работу нейросетей пользователям без технической подготовки. Курс включает лекции и семинары, охватывающие широкий спектр тем от основ градиентного спуска и функций активации до современных архитектур, таких как сверточные и рекуррентные сети, а также трансформеры и мультимодальные модели. Оценка знаний осуществляется через практические задания, участие в соревнованиях и экзамен.

Learning Objectives

• Понимать и уметь применять различные варианты алгоритма градиентного спуска и подходы к регуляризации нейронной сети.
• Уметь разрабатывать и обучать полносвязные и сверточные нейронные сети для анализа изображений.
• Знать и использовать методы и метрики для оценки качества моделей и подбора гиперпараметров.
• Уметь строить и обучать рекуррентные нейросети для обработки текстовых данных.
• Понимать и реализовывать механизмы внимания и трансформеров в нейросетевых архитектурах.
• Владеть навыками предобработки данных и использования предобученных моделей для дообучения.
• Знать методы работы с мультимодальными моделями для интеграции данных из различных источников.
• Уметь использовать библиотеки глубокого обучения, такие как PyTorch, для реализации нейросетевых решений.
• Уметь диагностировать и решать проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.

Expected Learning Outcomes

• Применяет алгоритмы градиентного спуска и подходы к регуляризации для обучения моделей.
• Разрабатывает и обучает полносвязные и сверточные нейронные сети для анализа изображений.
• Использует метрики и методы для оценки качества моделей и подбора гиперпараметров.
• Строит и обучает рекуррентные нейросети для обработки и анализа текстовых данных.
• Реализует механизмы внимания и трансформеров в нейросетевых архитектурах.
• Предобрабатывает данные и использует предобученные модели для дообучения.
• Конструирует и обучает мультимодальные модели для интеграции данных из различных источников.
• Применяет библиотеки глубокого обучения, такие как PyTorch, для реализации решений.
• Диагностирует и решает проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.

Course Contents

• Градиент спуск и его варианты.
• Библиотеки для глубокого обучения. Знакомство с pytorch.
• История появления нейросетей. Предмет глубоко обучения. Полносвязная нейронная сеть.
• Построение линейной модели и простейшей нейросети. Поведение различных функций активации.
• Функции потерь. Подходы к регуляризации.
• Реализация алгоритма градиентного спуска.
• Инициализация весов. Предобученные модели. Подходы к дообучению.
• Обучение нейросети.
• Дифференцирование композиции. Алгоритм обратного распространения ошибки.
• Разбор элементов алгоритма обратного распространения ошибки.
• Метрики. Подбор гиперпараметров.
• Реализация распространенных метрик.
• Подготовка данных и создание сверточной сети.
• Разбор contrastive и triplet loss.
• Метрические методы.
• Знакомство с токенизаторами, построение рекурентной архитектуры.
• Механизм внимания. Трансформеры.
• Обучение на cpu и gpu. Распределенное обучение.
• Реализация механизма внимания.
• Работа с изображениями. Сверточные сети (CNN).
• Мультимодальные модели.
• Конструирование простейшей архитектуры для работы с несколькими модальностями.
• Работа с текстом. Рекуррентные сети (RNN).
• Получение диагностической информации по железу. Знакомство с библиотекой для распределенного обучения.

Assessment Elements

• Домашние задания
• Соревнование 1
  На основе предоставленного датасета нужно будет обучить нейросеть и поучаствовать в соревновании на лучшую модель.
• Соревнование 2
  На основе предоставленного датасета нужно будет обучить нейросеть и поучаствовать в соревновании на лучшую модель.
• Экзамен
  Экзамен представляет собой письменную проверочную работу на знание теоретического материала, который давался на лекциях.

Interim Assessment

• 2024/2025 3rd module
  0.2 * Домашние задания + 0.2 * Соревнование 1 + 0.4 * Соревнование 2 + 0.2 * Экзамен

Bibliography

Recommended Core Bibliography

• Aurélien Géron. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow : Concepts, Tools, and Techniques to Build Intelligent Systems: Vol. Second edition. O’Reilly Media.
• Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning, 2016. URL: http://www.deeplearningbook.org

Recommended Additional Bibliography

• 9780262257053 - Sutton, Richard S.; Barto, Andrew G. - Reinforcement Learning : An Introduction - 1998 - A Bradford Book - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=1094 - nlebk - 1094
• 9781789958294 - Raschka, Sebastian; Mirjalili, Vahid - Python Machine Learning : Machine Learning and Deep Learning with Python, Scikit-learn, and TensorFlow 2, 3rd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2329991 - nlebk - 2329991
• Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008
• Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). ImageNet Classification with Deep Convolutional Neural Networks. Communications of the ACM, 60(6), 84–90. https://doi.org/10.1145/3065386
• Neural Networks and Deep Learning - CCBY4_068 - Michael Nielson - 2022 - Open Educational Resources: libretexts.org - https://ibooks.ru/bookshelf/390854 - 390854 - iBOOKS

Authors

• Ахмедова Гюнай Интигам кызы