Бакалавриат
2024/2025
Глубинное обучение для текстовых данных
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Язык:
русский
Кредиты:
5
Программа дисциплины
Аннотация
NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам.В курсе мы постараемся дать вам понять и прочувствовать, что происходит в мире естественной обработки языка. Какие задачи бывают, какие проблемы встречаются в ходе их решения. Мы покажем, что NLP — это не набор пар (задача, решение), а общие идеи, которые применимы для решения множества задач и отражают некоторую общую концепцию.
Цель освоения дисциплины
- Изучение базовых задач и методов обработки и анализа текстов
- Изучение современных нейросетевых моделей для обработки и анализа текстов
- Освоение программных систем и инструментов для обработки и анализа текстов
Планируемые результаты обучения
- Знать и применять базовые методы обработки и анализа текстов
- Уметь решать задачи, связанные с моделированием языка
Содержание учебной дисциплины
- Векторное представление слов. Классификация текстов
- Токенизация текста. Языковые модели
- Рекуррентные нейронные сети
- Задача Seq2seq. Трансформер. Методы семплирования токенов
- BERT и GPT
- Transfer learning. Parameter-Efficient Fine-tuning
- Архитектурные особенности больших языковых моделей (LLM)
- Уменьшение размеров модели без потери качества
- Retrieval‑Augmented Generation (RAG)
- Active learning
- Text style transfer
- Диффузионные модели для генерации текстов
Элементы контроля
- Домашнее задание 1Простейшие методы для классификации текста
- Домашнее задание 2Автодополнение текста для помощи в его наборе
- Домашнее задание 3Продвинутые рекуррентные сети
- Домашнее задание 4Реализация Трансформера
- Домашнее задание 5Реализация методов PEFT
- Домашнее задание 6Дистилляция BERT для задачи NER
- Домашнее задание 7Retrieval‑Augmented Generation (RAG)
- Домашнее задание 8Перенос стиля текста
- Контрольная работаПисьменная работа, рассчитанная на одну пару.
- ЭкзаменЭкзамен проводится в устной форме, возможно проведение в аудитории или на платформе Zoom. который включает в себя два вопроса из программы курса. Во время подготовки ответа нельзя пользоваться материалами. После ответа студенту могут быть заданы дополнительные вопросы по программе курса, а также предложены задачи на понимание теоретического материала. Такие задачи не требуют проведения обширных вычислений.
Промежуточная аттестация
- 2024/2025 2nd moduleИтог = Округление(0.4 * ДЗ + 0.3 * КР + 0.3 * Э), где ДЗ — средняя оценка за все домашние задания, КР — оценка за контрольную работу, Э — оценка за экзамен.
