• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site
For visually-impairedFor visually-impairedUser profile (HSE staff only)Search
Advanced search
Menu
HSE University
User profile (HSE staff only)Search
Advanced search

Course Syllabus

Bachelor 2024/2025

Introduction to Deep Learning

Type: Elective course (Applied Mathematics and Information Science)
Area of studies: Applied Mathematics and Information Science
Delivered by: Big Data and Information Retrieval School
Where: Faculty of Computer Science
When: 3 year, 2, 3 module
Mode of studies: distance learning
Online hours: 20
Open to: students of one campus
Instructors: Korney Tomashchuk, Fedor Velikonivtsev
Language: English
ECTS credits: 4

Course Syllabus

Full Syllabus

Abstract

The course is dedicated to studying deep learning, which is the most rapidly developing field of machine learning. The course attendees will learn what konds of machine learning tasks can be solved using neural networks and what types of neural networks are currently in use. The course has a clear practical focus, students will have to train neural networks on the PyTorch framework using the Python programming language. The course also covers tasks related to images and texts.
Learning Objectives

Learning Objectives

  • Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
  • Владение фреймворком PyTorch для обучения нейронных сетей.
Expected Learning Outcomes

Expected Learning Outcomes

  • Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
  • Понимание различных задач, которые решаются с применением глубинного обучения.
Course Contents

Course Contents

  • Графы вычислений, полносвязные нейронные сети.
  • Оптимизация нейронных сетей.
  • Сверточные нейронные сети
  • Современные сверточные архитектуры
  • Рекуррентные нейронные сети, обработка текстов
  • Архитектура трансформера
  • Дистилляция, прунинг, квантизация
Assessment Elements

Assessment Elements

  • non-blocking МДЗ 1 (Маленькое домашнее задание)
    Обучение нейронных сетей на numpy, полносвязные нейронные сети (20 баллов)
  • non-blocking МДЗ 2 (Маленькое домашнее задание)
    Сверточные нейронные сети (10 баллов)
  • non-blocking МДЗ 3 (Маленькое домашнее задание)
    Рекуррентные нейронные сети (15 баллов)
  • non-blocking МДЗ 6 (Маленькое домашнее задание)
    TBA (10 баллов)
  • non-blocking МДЗ 5 (Маленькое домашнее задание)
    TBA (10 баллов)
  • non-blocking МДЗ 4 (Маленькое домашнее задание)
    Генеративно-состязательные сети (10 баллов)
  • non-blocking ПР 2 (Проверочная работа)
    Обработка изображений, сверточные нейронные сети
  • non-blocking ПР 1 (Проверочная работа)
    Полносвязные нейронные сети, оптимизация нейронных сетей
  • non-blocking ПР 4 (Проверочная работа)
    Self-supervision, дистилляция, квантизация, прунинг, соревновательные атаки, генеративно-состязательные сети
  • non-blocking ПР 3 (Проверочная работа)
    Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
Interim Assessment

Interim Assessment

  • 2024/2025 3rd module
    Итог = Округление(0.7 * МДЗ + 0.3 ПР), где МДЗ — средняя оценка за все маленькие домашние задания, ПР — оценка за проверочные работы.
Bibliography

Bibliography

Recommended Core Bibliography

  • Глубокое обучение, Гудфеллоу, Я., 2018

Recommended Additional Bibliography

  • Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Authors

  • Кононова Елизавета Дмитриевна
  • Sadrtdinov Ildus Rustemovich