Глубинное обучение 1

Бакалавриат 2024/2025

Статус: Курс обязательный (Компьютерные науки и анализ данных)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Ким Сергей Вячеславович

Язык: русский

Кредиты: 5

Полная версия программы учебной дисциплины

Аннотация

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

Цель освоения дисциплины

Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
Владение фреймворком PyTorch для обучения нейронных сетей.
Понимание различных задач, которые решаются с применением глубинного обучения.
Умение обрабатывать данные.
Умение составлять пайплайны для обучения нейронных сетей.

Планируемые результаты обучения

Формулировать перевод задачи на математический язык
Познакомиться с разработкой нейронных сетей для различных задач
Провести первичный анализ данных
Настроить инфраструктуру обучения для дальнейшего масштабирования

Содержание учебной дисциплины

Графы вычислений, полносвязные нейронные сети.
Введение в PyTorch
Оптимизация нейронных сетей.
Введение в PyTorch 2
Сверточные нейронные сети
Сверточные нейронные сети в PyTorch 1, Проверочная работа 1
Основы масштабирования инфраструктуры обучения
Современные сверточные архитектуры, fine-tuning
Сверточные нейронные сети в PyTorch 2
Обработка текстов (энкодинги, эмбеддинги)
Обработка текстов (энкодинги, эмбеддинги).
Рекуррентные нейронные сети
Рекуррентные нейронные сети.
Архитектура трансформера
Архитектура трансформера.
Применения трансформеров в компьютерном зрении
Знакомство с библиотеками
Self-supervision
Self-supervision.
Дистилляция, квантизация, прунинг
Дистилляция, квантизация, прунинг.
Генеративные модели
Генеративные модели.
Продвинутые генеративные модели.
Продвинутые генеративные модели
Доп слот для лекции

Элементы контроля

Групповой проект (ГП), часть 1
Учебный проект на одного-двух человек. Часть 1 - подготовка инфраструктуры обучения (5 баллов)
ГП, часть 2
Часть 2 - защита проекта (5 баллов)
Индивидуальный проект (ИП)
Классификация изображений, формат соревнования (10 баллов)
ДЗ 1 (Домашнее задание)
Обучение нейронных сетей на numpy, полносвязные нейронные сети (10 баллов)
ДЗ 2
Сверточные нейронные сети (10 баллов)
ДЗ 3
Архитектура трансформера (10 баллов)
ДЗ 4 (бонусная)
Self-supervision (10 баллов)
ПР 1 (Проверочная работа)
Полносвязные нейронные сети, оптимизация нейронных сетей
ПР 2
Обработка изображений, сверточные нейронные сети
ПР 3
Обработка текстов, рекуррентные нейронные сети, архитектура трансформера

Промежуточная аттестация

2024/2025 2nd module
Итог = Округление(0.3 * ГП + 0.25 * ИП + 0.25 * ДЗ + 0.2 * ПР), где ГП - суммарная оценка за групповой проект, ИП — оценка за индивидуальный проект, ДЗ — средняя оценка за домашние задания, ПР — средняя оценка за проверочные работы

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы

Программа дисциплины