2022/2023
Автоматическая обработка текста
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Маго-лего
Кто читает:
Базовая кафедра Яндекс
Когда читается:
1, 2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
8
Контактные часы:
56
Программа дисциплины
Аннотация
Цель курса - ознакомление студентов с задачами и современными технологиями Natural Language Processing. Планируется ознакомление со статистическими и нейросетевыми подходами в NLP, приобретение навыков их использования в реальных практических задачах, в частности, с помощью библиотеки tensorflow. Особое внимание будет уделено приложениям к задаче машинного перевода
Цель освоения дисциплины
- Ознакомление студентов с задачами и современными технологиями Natural Language Processing
Планируемые результаты обучения
- Знать методы построения языковых моделей, как статистических, так и нейросетевых;
- Иметь представление о важнейших разновидностях генеративных моделей
- Иметь представление о задаче машинного перевода и о современных методах, используемых в ней
- Иметь представление о подходах к суммаризации текстов и об используемых в этой задаче методах
- Иметь представление о разновидностях диалоговых систем
- Иметь представление об основных задачах, решаемых с помощью автоматической обработки текстов
- Использовать механизм внимания
- Обучать глубинные модели с использованием одного из современных нейросетевых фрейморков
- Работать в парадигме структурированного обучения при анализе и предсказании последовательностей
- Строить глубинные seq2seq модели
- Уметь выбирать и обучать модели классификации текстов на естественном языке
- Уметь выбирать предобученные вложения слов из популярных библиотек, таких как word2vec, gensim
- Уметь использовать ЕМ-алгоритм для построения моделей с латентными переменными
- Уметь использовать методы доменной адаптации, в том числе для решения задач NLP
- Уметь использовать методы переноса обучения, в том числе для решения задач NLP
- Уметь обучать простейшие генеративные модели, в том числе для решения задач NLP
- Уметь обучить простую диалоговую систему
- Уметь решать задачу выравнивания слов
Содержание учебной дисциплины
- Введение
- Word Embeddings
- Классификация текстов
- Языковые модели
- Модели seq2seq
- Структурированное обучение
- EM-алгоритм и выравнивание слов
- Машинный перевод
- Перенос обучения
- Адаптация домена
- Генеративные модели
- Диалоговые системы
- Суммаризация текстов
Элементы контроля
- Домашняя работа 1
- Домашняя работа 2
- Контрольная работа
- Домашняя работа 1
- Домашняя работа 2
- Экзамен
Промежуточная аттестация
- 2022/2023 учебный год 2 модуль0.15 * Домашняя работа 1 + 0.15 * Домашняя работа 1 + 0.15 * Домашняя работа 2 + 0.2 * Экзамен + 0.15 * Домашняя работа 2 + 0.2 * Контрольная работа
Список литературы
Рекомендуемая основная литература
- Асадуллаев, Р. Г. (2017). Нечеткая логика и нейронные сети. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.93A4EE7B
- Геворкян Гурген Аркадиевич. (2017). Нейронные сети: графический интерфейс пользователя в Matlab. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.4576DF4C
- Нейронные сети, генетические алгоритмы и нечеткие системы, Рутковская, Д., 2008
Рекомендуемая дополнительная литература
- Zhuravel, A., & Velmagina, N. (2018). Artificial Neural Networks For Building Projects Cost Estimating ; Искусственные нейронные сети в оценке стоимости строительных проектов ; Штучні нейронні мережі в оцінці вартості будівельних проектів. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6CA2964D
- АВЕРКИН АЛЕКСЕЙ НИКОЛАЕВИЧ. (2016). Гибридные Модулярные Нейронные Сети. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3D0005DF
- Нейронные сети : полный курс, Хайкин, С., 2006