2024/2025
Neural Networks and Deep Learning
Type:
Mago-Lego
Delivered by:
Big Data and Information Retrieval School
When:
2, 3 module
Open to:
students of one campus
Instructors:
Yury Sanochkin
Language:
English
ECTS credits:
6
Course Syllabus
Abstract
Курс "Нейронные сети и глубокое обучение" посвящен изучению нейросетевых моделей и их применению для решения прикладных задач. В рамках курса студенты освоят навыки развертывания нейросетей для анализа изображений и текста, подготовки и обработки данных для обучения, оценки качества моделей и диагностики проблем. Особое внимание уделяется практическим аспектам: студенты научатся демонстрировать работу нейросетей пользователям без технической подготовки. Курс включает лекции и семинары, охватывающие широкий спектр тем от основ градиентного спуска и функций активации до современных архитектур, таких как сверточные и рекуррентные сети, а также трансформеры и мультимодальные модели. Оценка знаний осуществляется через практические задания, участие в соревнованиях и экзамен.
Learning Objectives
- Понимать и уметь применять различные варианты алгоритма градиентного спуска и подходы к регуляризации нейронной сети.
- Уметь разрабатывать и обучать полносвязные и сверточные нейронные сети для анализа изображений.
- Знать и использовать методы и метрики для оценки качества моделей и подбора гиперпараметров.
- Уметь строить и обучать рекуррентные нейросети для обработки текстовых данных.
- Понимать и реализовывать механизмы внимания и трансформеров в нейросетевых архитектурах.
- Владеть навыками предобработки данных и использования предобученных моделей для дообучения.
- Знать методы работы с мультимодальными моделями для интеграции данных из различных источников.
- Уметь использовать библиотеки глубокого обучения, такие как PyTorch, для реализации нейросетевых решений.
- Уметь диагностировать и решать проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.
Expected Learning Outcomes
- Применяет алгоритмы градиентного спуска и подходы к регуляризации для обучения моделей.
- Разрабатывает и обучает полносвязные и сверточные нейронные сети для анализа изображений.
- Использует метрики и методы для оценки качества моделей и подбора гиперпараметров.
- Строит и обучает рекуррентные нейросети для обработки и анализа текстовых данных.
- Реализует механизмы внимания и трансформеров в нейросетевых архитектурах.
- Предобрабатывает данные и использует предобученные модели для дообучения.
- Конструирует и обучает мультимодальные модели для интеграции данных из различных источников.
- Применяет библиотеки глубокого обучения, такие как PyTorch, для реализации решений.
- Диагностирует и решает проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.
Course Contents
- Градиент спуск и его варианты.
- Библиотеки для глубокого обучения. Знакомство с pytorch.
- История появления нейросетей. Предмет глубоко обучения. Полносвязная нейронная сеть.
- Построение линейной модели и простейшей нейросети. Поведение различных функций активации.
- Функции потерь. Подходы к регуляризации.
- Реализация алгоритма градиентного спуска.
- Инициализация весов. Предобученные модели. Подходы к дообучению.
- Обучение нейросети.
- Дифференцирование композиции. Алгоритм обратного распространения ошибки.
- Разбор элементов алгоритма обратного распространения ошибки.
- Метрики. Подбор гиперпараметров.
- Реализация распространенных метрик.
- Подготовка данных и создание сверточной сети.
- Разбор contrastive и triplet loss.
- Метрические методы.
- Знакомство с токенизаторами, построение рекурентной архитектуры.
- Механизм внимания. Трансформеры.
- Обучение на cpu и gpu. Распределенное обучение.
- Реализация механизма внимания.
- Работа с изображениями. Сверточные сети (CNN).
- Мультимодальные модели.
- Конструирование простейшей архитектуры для работы с несколькими модальностями.
- Работа с текстом. Рекуррентные сети (RNN).
- Получение диагностической информации по железу. Знакомство с библиотекой для распределенного обучения.
Assessment Elements
- Домашние задания
- Соревнование 1На основе предоставленного датасета нужно будет обучить нейросеть и поучаствовать в соревновании на лучшую модель.
- Соревнование 2На основе предоставленного датасета нужно будет обучить нейросеть и поучаствовать в соревновании на лучшую модель.
- ЭкзаменЭкзамен представляет собой письменную проверочную работу на знание теоретического материала, который давался на лекциях.
Interim Assessment
- 2024/2025 3rd module0.2 * Домашние задания + 0.2 * Соревнование 1 + 0.4 * Соревнование 2 + 0.2 * Экзамен
Bibliography
Recommended Core Bibliography
- Aurélien Géron. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow : Concepts, Tools, and Techniques to Build Intelligent Systems: Vol. Second edition. O’Reilly Media.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning, 2016. URL: http://www.deeplearningbook.org
Recommended Additional Bibliography
- 9780262257053 - Sutton, Richard S.; Barto, Andrew G. - Reinforcement Learning : An Introduction - 1998 - A Bradford Book - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=1094 - nlebk - 1094
- 9781789958294 - Raschka, Sebastian; Mirjalili, Vahid - Python Machine Learning : Machine Learning and Deep Learning with Python, Scikit-learn, and TensorFlow 2, 3rd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2329991 - nlebk - 2329991
- Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008
- Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). ImageNet Classification with Deep Convolutional Neural Networks. Communications of the ACM, 60(6), 84–90. https://doi.org/10.1145/3065386
- Neural Networks and Deep Learning - CCBY4_068 - Michael Nielson - 2022 - Open Educational Resources: libretexts.org - https://ibooks.ru/bookshelf/390854 - 390854 - iBOOKS