Глубинное обучение

Магистратура 2024/2025

Статус: Курс обязательный (Языковые технологии в бизнесе и образовании)

Направление: 45.04.03. Фундаментальная и прикладная лингвистика

Кто читает: Департамент филологии

Где читается: Санкт-Петербургская школа гуманитарных наук и искусств

Когда читается: 2-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Калинин Александр Андреевич

Прогр. обучения: Языковые технологии в бизнесе и образовании

Язык: русский

Кредиты: 6

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Глубинное обучение — один из самых последних и мощных подходов в машинном обучении. Курс предназначен для того, чтобы дать обзор области и познакомить студентов с подходами, моделями и архитектурами, связанными с глубоким обучением в задачах обработки естественного языка. В ходе курса студенты получат навыки создания и использования уже готовых глубоких нейронных сетей для решения различных задач, таких как анализ настроений, тематическое моделирование, создание диалоговых ботов, машинный перевод и многое другое. А также овладеют соответствующим понятийным аппаратом для понимания и использования в научной и практической деятельности.

Цель освоения дисциплины

знание основных принципов глубокого обучения для АОТ
умение использовать эти принципы при создании собственных систем АОТ
владение существующими методами с применением глубокого обучения для АОТ

Планируемые результаты обучения

Знает подходы и пайплайн решения NLP задач с использованием методов машинного обучения и искусственного интеллекта. Владеет информацией об источниках информации и основных веб-ресурсах для работы с нейронными сетями.
Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью
Понимает устройство сверточных сетей для обработки текста, операций агрегации, структуру ванильных рекуррентных нейронных сетей. Умеет решать nlp-задачи с использованием CNN и RNN, LSTM. Может оценить качество на основе используемых метрик
Владеет пониманием механизмов: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding
Понимает архитектуру transformer. Знает основные базовые модели на основе transformer. Ориентируется на ресурсе hugging face. Умеет пользоваться предобученными моделями
Умеет использовать обученную модель для генерации изображений по описанию. Использовать Prompt-подход и его вариации. Понимает архитектуру и процесс обучения и дообучения диффузионных моделе
Умеет использовать модели: GPT, BERT, T5 “из коробки”. Ориентируется в них. Может реализовывать перенос обучения в различных задачах, fine-tuning моделей
Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть. Владеет методами визуализации результатов и оценкой качества обучения нейронной сети
Понимает устройство и основные принципы использования и работы с dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, Владеет подборкой гиперпараметров для повышения качества выхода нейронной сети

Содержание учебной дисциплины

Введение в дисциплину
Машинное обучение, глубокое обучение и Искусственный интеллект
Элементы линейной алгебры в глубоком обучении
Механика обучения
Многослойный перцетрон
Оценка качества модели
Основы сверточных сетей
Применение сверточных сетей
Рекуррентные сети
Дистрибутивная семантика
Автоэнкодеры
Sequence-to-Sequence модели
Attention
Transformer
Большие языковые модели
RLFH
Графовые нейронные сети
Диффузионные модели

Элементы контроля

Домашнее задание
Домашние задания представляют собой небольшие практические задания, которые выполняются студентами вне аудитории на основе практических занятий. Обычно представляют ноутбуки в формате .ipynb, в которых необходимо улучшить качество работы нейронной сети. Оценка за домашнее задание выставляется по 10-балльной шкале.
Тест
Итоговый тест представляет собой тестовое задание, в ходе которого студент должен правильно ответить на максимальное количество вопросов. Дистанционное выполнение работы.
Экзамен
Экзамен проводится в форме беседы, в которой студенты должны продемонстрировать: 1) владение информацией о современных подходах к решению лингвистических задач методами на основе глубинного обучения, 2) знание процесса обучения и особенностей работы с нейронными сетями, 3) знание основных веб-сервисов и источников информации, упоминающихся в курсе.

Промежуточная аттестация

2024/2025 2nd module
0.3 * Домашнее задание + 0.3 * Домашнее задание + 0.2 * Тест + 0.2 * Экзамен

Список литературы

Авторы

Кессель Ксения Витальевна

Программа дисциплины