Программирование и лингвистические данные

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Статус: Курс обязательный (Фундаментальная и компьютерная лингвистика)

Направление: 45.03.03. Фундаментальная и прикладная лингвистика

Кто читает: Школа лингвистики

Где читается: Факультет гуманитарных наук

Когда читается: 1-й курс, 1, 2, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Бузанов Антон Олегович, Ершова Елизавета Олеговна, Казакова Татьяна Борисовна, Лабенская Яна Амировна, Ляшевская Ольга Николаевна, Стрельцов Артем Дмитриевич, Чевелева Анастасия Николаевна

Язык: русский

Кредиты: 3

Контактные часы: 62

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Целями освоения дисциплины «Программирование и лингвистические данные» является получение теоретических знаний и практических навыков использования различного компьютерного инструментария в лингвистических исследованиях. Блок «Программирование» посвящен изучению основ программирования на языке Python, алгоритмов, регулярных выражений. Блок «Лингвистические данные» знакомит слушателей с основными компьютерными инструментами и электронными лингвистическими ресурсами, с методами автоматизации сбора, обработки и анализа лингвистического материала, а также со способами представления данных и результатов исследований в виде компьютерных ресурсов.

Цель освоения дисциплины

Овладение навыками программирования на языке Python
Овладение навыками применения регулярных выражений при работе с текстом
Получение опыта применения языка Python для решения задач, возникающих при автоматической обработке текстов

Планируемые результаты обучения

Знать основные конструкции языка Python
знать основные типы лингвистических ресурсов
Знать особенности изменяемых и неизменяемых типов данных
Знать синтаксис и особенности работы регулярных выражений
иметь представление об основных форматах представления текста, кодировке текста
иметь представление, какие типы лингвистической информации и какие уровни описания языка отражает лингвистический ресурс
Уметь выполнять основные операции с использованием регулярных выражений: поиск, замена, разделение
уметь выполнять основные операции с текстовыми данными (сортировки, фильтрация, индексирование, выделение подстроки, сводные таблицы)
Уметь запускать программы на Python в командной строке и интерактивном интерпретаторе Python
Уметь искать и устанавливать модули с помощью pip
Уметь использовать готовые модули в своих программах
Уметь писать функции и тестировать их работу
уметь пользоваться инструментами разметки корпуса (ELAN, UDpipe, акцентуаторы)
Уметь пользоваться модулем collections для задач подсчета и подобных им
уметь пользоваться полнофункциональными текстовыми и табличными редакторами
уметь пользоваться различными типами поисковых корпусных систем
Уметь преобразовывать строки в различные типы данных
Уметь применять словари и списки для работы с данными
Уметь производить основные операции с файлами: чтение, запись, изменение
Уметь производить основные операции с файловой системой: поиск файлов и директорий, получение содержимого директории, обход директорий, копирование и перемещение файлов и папок
Уметь работать с модулем re
Уметь разделять программу на релевантные функции
уметь размечать пользовательские корпусные данные на различных лингвистических и текстовом уровнях
Уметь решать прикладные задачи с применением условных конструкций
Уметь решать прикладные задачи с применением условных конструкций и циклов
Уметь решать прикладные задачи с применением циклов
уметь собирать и корректно интепретировать частотную информацию из корпуса

Содержание учебной дисциплины

Начало работы с Python. Базовые арифметические операции. Переменные
Управляющие конструкции в Python
Управляющие конструкции в Python (продолжение)
Циклы и индексы в Python
Структуры данных в Python
Работа с файлами
Функции в Python
Модули Python
Форматы хранения данных
Регулярные выражения
Работа с файловой системой
Лингвистические ресурсы
Основы анализа и обработки текста
Основы анализа и обработки текста (продолжение)
Методы и инструменты создания корпусов.
автоматический анализ языковых данных
визуализация
форматы хранения данных
работа с интернет-данными
введение в машинное обучение

Элементы контроля

Домашние задания по программированию
Контрольные работы по программированию
Проект по программированию
Экзамен по программированию
Домашние задания по лингвистическим данным
Контрольная работа по лингвистическим данным
Проект по лингвистическим данным
Экзамен по лингвистическим данным

Промежуточная аттестация

2023/2024 учебный год 2 модуль
0.3 * Домашние задания по лингвистическим данным + 0.2 * Контрольная работа по лингвистическим данным + 0.3 * Проект по лингвистическим данным + 0.2 * Экзамен по лингвистическим данным
2023/2024 учебный год 4 модуль
0.3 * Домашние задания по программированию + 0.2 * Контрольные работы по программированию + 0.3 * Проект по программированию + 0.2 * Экзамен по программированию

Список литературы

Авторы

Казакова Татьяна Борисовна
Ляшевская Ольга Николаевна
Рословцева Кристина Олеговна
Королева Анастасия Романовна
Сериков Олег Алексеевич
Ершова Елизавета Олеговна
Попова Дарья Павловна
Бузанов Антон Олегович

Программа дисциплины