Bachelor 2024/2025

Deep Learning 1

Type: Elective course (Computing and Data Science)

Area of studies: Applied Mathematics and Information Science

Delivered by: Big Data and Information Retrieval School

Where: Faculty of Computer Science

When: 3 year, 2, 3 module

Mode of studies: distance learning

Online hours: 60

Open to: students of one campus

Instructors: Mikhail Lazarev

Language: English

ECTS credits: 4

Course Syllabus

Abstract

The course is dedicated to studying deep learning, which is the most rapidly developing field of machine learning. The course attendees will learn what konds of machine learning tasks can be solved using neural networks and what types of neural networks are currently in use. The course has a clear practical focus, students will have to train neural networks on the PyTorch framework using the Python programming language. The course also covers tasks related to images and texts.

Learning Objectives

• Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
• Владение фреймворком PyTorch для обучения нейронных сетей.
• Понимать различные задачи, которые решаются с применением глубинного обучения.

Expected Learning Outcomes

• Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

Course Contents

• Графы вычислений, полносвязные нейронные сети.
• Оптимизация нейронных сетей.
• Сверточные нейронные сети
• Современные сверточные архитектуры
• Задачи компьютерного зрения
• Обработка текстов (энкодинги, эмбеддинги)
• Рекуррентные нейронные сети, обработка текстов
• Архитектура трансформера
• Применения трансформеров в компьютерном зрении
• Self-supervision, BERT
• Дистилляция, квантизация, прунинг
• Состязательные атаки
• Генеративные модели.

Assessment Elements

• ДЗ 4 (бонусная)
  Self-supervision (10 баллов)
• Индивидуальный проект (ИП)
  Классификация изображений, формат соревнования (10 баллов)
• ПР 3
  Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
• ДЗ 3
  Архитектура трансформера (10 баллов)
• ГП, часть 2
  Часть 2 - защита проекта (5 баллов)
• ПР 2
  Обработка изображений, сверточные нейронные сети
• ДЗ 1 (Домашнее задание)
  Обучение нейронных сетей на numpy, полносвязные нейронные сети (10 баллов)
• ДЗ 2
  Сверточные нейронные сети (10 баллов)
• ПР 1 (Проверочная работа)
  Полносвязные нейронные сети, оптимизация нейронных сетей
• Групповой проект (ГП), часть 1
  Учебный проект на одного-двух человек. Часть 1 - подготовка инфраструктуры обучения (5 баллов)

Interim Assessment

• 2024/2025 3rd module
  Итог = Округление(0.3 * ГП + 0.25 * ИП + 0.25 * ДЗ + 0.2 * ПР), где ГП - суммарная оценка за групповой проект, ИП — оценка за индивидуальный проект, ДЗ — средняя оценка за домашние задания, ПР — средняя оценка за проверочные работы

Bibliography

Recommended Core Bibliography

• Глубокое обучение, Гудфеллоу, Я., 2018

Recommended Additional Bibliography

• Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Authors

• Ахмедова Гюнай Интигам кызы