Научно-исследовательский семинар "Нейросетевое моделирование длинных языковых единиц"

Бакалавриат 2024/2025

Статус: Курс по выбору (Фундаментальная и компьютерная лингвистика)

Направление: 45.03.03. Фундаментальная и прикладная лингвистика

Кто читает: Школа лингвистики

Где читается: Факультет гуманитарных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Ляшевская Ольга Николаевна

Язык: русский

Кредиты: 4

Контактные часы: 28

Полная версия программы учебной дисциплины

Аннотация

Курс знакомит с основными сведениями о существующих инструментах автоматической обработки естественного языка, основанных на машинном обучении и нейронных сетях, формирует навык использовать, строить и оценивать искусственные модели для задач обработки языка, тренирует обучению собственных моделей. В курсе обсуждаются подходы к решению задач, требующих глубокой лингвистической проработки: генерация связанных текстовых фрагментов, специфика разработки моделей для малоресурсных языков, автоматизированное исправление ошибок.

Цель освоения дисциплины

дать представление о существующих инструментах автоматической обработки естественного языка, основанных на машинном обучении и нейронных сетях
сформировать представление о принципах работы данных инструментов
познакомить с основными фреймворками для решения задач АОЕЯ с применением нейронных сетей
познакомить с основными подходами к решению лингвистических задач с помощью нейронных сетей

Планируемые результаты обучения

Студент знает зачем необходима энкодер-декодер структура в вопросно-ответных системах
Студент знает и умеет выбирать векторные представления лексических единиц в соответствии с типом задачи.
Студент знает как построить языковую модель с использованием нейронной сети
Студент знает как применяются конволюционные нейронные сети при анализе тональности и какие признаки могут выделены c с помощью CNN
Студент знает как устроен “механизм внимания” в энкодер-декодер структурах моделей НЛП
Студент знает, как используется синтаксическое дерево при извлечении именованные сущности
Студент знает, что общего в задачах поиска ключевых слов и суммаризации текст
Студент знает о ключевых подходах к задачам автоматического анализа малоресурсных языков
Студент знает о ключевых подходах к задачам автоматического исправления ошибок с помощью нейросетей
Студент знает о ключевых подходах к проблеме генерации связного текста

Содержание учебной дисциплины

Векторное представление лексических единиц.
Языковые модели. Классификация текстов: бинарная и многоклассовая.
Анализ тональности.
Извлечение ключевых слов.
Извлечение именованных сущностей.
Вопросно-ответные системы. Диалоговые агенты.
Нейронный машинный перевод.
Решение задач, требующих глубокой лингвистической проработки

Элементы контроля

Экзамен
Лабораторная работа 2
Лабораторная работа 1
Лабораторная работа 3
Доклад по статье
Реферат по статье
Самостоятельная работа по подготовке проекта

Промежуточная аттестация

2024/2025 2nd module
Накопленная оценка О_Н рассчитывается по формуле : $$О_Н = (0.2 * (Доклад по статье ИЛИ Реферат по статье) + 0.3 * (Домашнее задание) + 0.3 (Самостоятельная работа по подготовке проекта)) / 7 * 10 $$ Оценка за экзамен О_Э выставляется в шкале от 0 до 10. По взаимному согласию студента и преподавателя оценка за экзамен может быть выставлена равной накопленной оценке. Итоговая оценка О_И вычисляется по формуле: $$ О_И = округление(0.7 * О_накопл + 0.3 * О_Э). Правила округления: Арифметическое

Список литературы

Авторы

Дьячкова Анна Евгеньевна
Ляшевская Ольга Николаевна

Программа дисциплины