Автоматическая обработка естественного языка

Бакалавриат 2020/2021

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Статус: Курс обязательный (Фундаментальная и компьютерная лингвистика)

Направление: 45.03.03. Фундаментальная и прикладная лингвистика

Кто читает: Школа лингвистики

Где читается: Факультет гуманитарных наук

Когда читается: 3-й курс, 1 модуль

Формат изучения: без онлайн-курса

Преподаватели: Еникеева Екатерина Владимировна, Орлов Александр Викторович

Язык: русский

Кредиты: 3

Контактные часы: 30

Полная версия программы учебной дисциплины

Аннотация

Целями освоения дисциплины «Автоматическая обработка естественного языка» являются овладение студентами основными методами автоматической обработки текста на разных уровнях лингвистического анализа. Изучение дисциплины «Автоматическая обработка естественного языка» базируется на следующих дисциплинах:  курс по теории языка программы подготовки бакалавра  курс по дискретной математики программы подготовки бакалавра  начальный курс по программированию программы подготовки бакалавра  английский язык Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями:  владеть базовыми представлениями о грамматических категориях и анализе языковых единиц;  владеть базовыми знаниями в области теории алгоритмов и основ математики;  владеть базовыми знаниями в области теории вероятностей и статистики;  уметь читать научные работы и технические описания на английском языке;  владеть базовыми навыками программирования на языке Python.

Цель освоения дисциплины

В результате освоения дисциплины студент должен: знать:  основные задачи компьютерной лингвистики;  основные формальные модели, лежащие в основе различных модулей автоматической обработки текста;  необходимые этапы морфологического анализа и проблемы, возникающие при моделировании каждого из этапов;  основные алгоритмы, используемые для построения автоматического синтаксического анализа;  наиболее известные доступные для свободного использования компоненты автоматического анализа, в том числе синтаксические и морфологические парсеры;  принципы оценки качества таких систем; уметь:  создавать модули первичной обработки текста;  строить формальную модель морфологии для создания системы автоматического морфологического анализа;  проводить оценку качества систем автоматического морфологического, синтаксического и семантического анализа;  использовать соответствующие модули в различных приложениях; владеть:  разработки программ первичной обработки текста;  использования систем автоматического морфологического анализа;  тестирования систем морфологического и синтаксического анализа. Основные положения дисциплины должны быть использованы в дальнейшем при изучении следующих дисциплин:  автоматическая обработка естественного языка: семантика, анализ контента; а также в исследованиях при написании курсовых работ.

Планируемые результаты обучения

знает основные задачи АОТ
осуществляет первичную обработку текста, разбиение на предложения, распознавание языка
осуществляет морфологическую аннотацию текста, определяет качество морфологического таггера; например, строит конечный автомат для анализа одного из морфонологических явлений в одном из малоресурсных языках
запускает синтаксический анализатор

Содержание учебной дисциплины

Введение в компьютерную лингвистику
Введение в компьютерную лингвистику. Задачи компьютерной лингвистики. Модель информационного поиска. Новостная агрегация и рубрикация. Извлечение информации из текста. Основные типы ресурсов. Основные формальные модели: конечные автоматы, контекстно-свободные грамматики Свойства естественного языка, создающие сложности для автоматической обработки: омонимия, отсутствие взаимооднозначного соответствия между формой и смыслом. Цепочка обработки: основные этапы обработки. Основные платформы и пакеты для разработки систем АОТ.
Первичная обработка текста. Модель информационного поиска. Векторизация текста
Графематический анализ. Сегментация текста. Проблемы токенизации: токены; Стоп-слова; обработка специальных символов; обработка слов с дефисом. Типизация токенов. Оффсеты. Сегментация на предложения. Сегментация текста в библиотеке NLTK. Модель информационного поиска. Модель мешка слов. Индексация. Матрица терм-документ. N-грамы. tf.idf. Оценка качества. Векторная модель документа, векторная модель слова. Поиск похожих текстов. Косинусная мера близости. Векторизация текстов в библиотеке scikit-learn.
Автоматический морфологический анализ
Введение в автоматический морфологический анализ. Постановка задачи. Основные типы морфологической обработки. Явления неконкатенативной морфологии. Конечные автоматы и конченые преобразователи. Примеры построения конченых автоматов для морфологического анализа. Проблемы морфологической неоднозначности. Методы дизамбигуации. Языковые модели. Скрытые марковские модели. Алгоритм Витерби. Оценка качества частеречного тагера: практикум.
Автоматический синтаксический анализ
Основные модели автоматического синтаксического анализа: непосредственные составляющие, зависимости. Контекстно-свободные грамматики. Унификационные грамматики. Синтаксический анализ: основные проблемы автоматического анализа (омонимия, типичные случаи синтаксической омонимии, синтаксические нули). Контекстно-свободные грамматики. базовые алгоритмы (нисходящий алгоритм, алгоритм спуска, алгоритм Кока-Янгера-Касами) Зависимостные грамматики. Алгоритмы анализа в терминах зависимостей. Универсальные зависимости (UD): основные стандарты морфологической и синтаксической разметки в терминах UD. Запуск системы синтаксического анализа в терминах UD (UD-pipe).
Проект по АОЕЯ

Элементы контроля

домашние задания
Оценка по домашним заданиям вычисляется как среднее по всем домашним задания. Сдача задания после дедлайна рассчитывается как 0.7 от полной оценки за выполненное задание. Возможна досдача и пересдача домашних заданий в конце модуля. Оценка при этом рассчитывается как 0.3 от полной оценки за выполненное задание. При пересдаче необходимо исправить недочеты в домашних заданиях, выполнить невыполненные в течение модуля задания.
экзамен
проектное задание
В течение недели после начала работы по окончании пропуска, но не позднее 10 дней до сессии, если преподавателем не предложено иное. При пересдаче необходимо устранить недостатки проекта. Предполагается переработка проекта и его защита.
мини-тесты

Промежуточная аттестация

Промежуточная аттестация (1 модуль)
0.3 * домашние задания + 0.15 * мини-тесты + 0.3 * проектное задание + 0.25 * экзамен

Программа дисциплины