Кто читает:: Школа лингвистики

Статус:: Курс обязательный

Когда читается:: 1-й курс, 1, 2, 4 модуль

Преподаватели

Бузанов Антон Олегович

Казакова Татьяна Борисовна

Козлова Екатерина Руслановна

Ляшевская Ольга Николаевна

Степанова Ангелина Михайловна

Стрельцов Артем Дмитриевич

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Целями освоения дисциплины «Программирование и лингвистические данные» является получение теоретических знаний и практических навыков использования различного компьютерного инструментария в лингвистических исследованиях. Блок «Программирование» посвящен изучению основ программирования на языке Python, алгоритмов, регулярных выражений. Блок «Лингвистические данные» знакомит слушателей с основными компьютерными инструментами и электронными лингвистическими ресурсами, с методами автоматизации сбора, обработки и анализа лингвистического материала, а также со способами представления данных и результатов исследований в виде компьютерных ресурсов.

Цель освоения дисциплины

Овладение навыками программирования на языке Python
Овладение навыками применения регулярных выражений при работе с текстом
Получение опыта применения языка Python для решения задач, возникающих при автоматической обработке текстов

Планируемые результаты обучения

Знать основные конструкции языка Python
знать основные типы лингвистических ресурсов
Знать особенности изменяемых и неизменяемых типов данных
Знать синтаксис и особенности работы регулярных выражений
иметь представление об основных форматах представления текста, кодировке текста
иметь представление, какие типы лингвистической информации и какие уровни описания языка отражает лингвистический ресурс
Уметь выполнять основные операции с использованием регулярных выражений: поиск, замена, разделение
уметь выполнять основные операции с текстовыми данными (сортировки, фильтрация, индексирование, выделение подстроки, сводные таблицы)
Уметь запускать программы на Python в командной строке и интерактивном интерпретаторе Python
Уметь искать и устанавливать модули с помощью pip
Уметь использовать готовые модули в своих программах
Уметь писать функции и тестировать их работу
уметь пользоваться инструментами разметки корпуса (ELAN, UDpipe, акцентуаторы)
Уметь пользоваться модулем collections для задач подсчета и подобных им
уметь пользоваться полнофункциональными текстовыми и табличными редакторами
уметь пользоваться различными типами поисковых корпусных систем
Уметь преобразовывать строки в различные типы данных
Уметь применять словари и списки для работы с данными
Уметь производить основные операции с файлами: чтение, запись, изменение
Уметь производить основные операции с файловой системой: поиск файлов и директорий, получение содержимого директории, обход директорий, копирование и перемещение файлов и папок
Уметь работать с модулем re
Уметь разделять программу на релевантные функции
уметь размечать пользовательские корпусные данные на различных лингвистических и текстовом уровнях
Уметь решать прикладные задачи с применением условных конструкций
Уметь решать прикладные задачи с применением условных конструкций и циклов
Уметь решать прикладные задачи с применением циклов
уметь собирать и корректно интепретировать частотную информацию из корпуса

Содержание учебной дисциплины

Начало работы с Python. Базовые арифметические операции. Переменные
Управляющие конструкции в Python
Управляющие конструкции в Python (продолжение)
Циклы и индексы в Python
Структуры данных в Python
Работа с файлами
Функции в Python
Модули Python
Форматы хранения данных
Регулярные выражения
Работа с файловой системой
Лингвистические ресурсы
Основы анализа и обработки текста
Основы анализа и обработки текста (продолжение)
Методы и инструменты создания корпусов.
автоматический анализ языковых данных
визуализация
форматы хранения данных
работа с интернет-данными
введение в машинное обучение

Элементы контроля

Домашние задания по лингвистическим данным
Контрольные работы по программированию
Контрольная работа по лингвистическим данным
Экзамен по лингвистическим данным
Домашние задания по программированию
Проект по лингвистическим данным
Проект по программированию
Экзамен по программированию

Промежуточная аттестация

2024/2025 2nd module
0.3 * Домашние задания по лингвистическим данным + 0.2 * Контрольная работа по лингвистическим данным + 0.3 * Проект по лингвистическим данным + 0.2 * Экзамен по лингвистическим данным
2024/2025 4th module
0.3 * Домашние задания по программированию + 0.2 * Контрольные работы по программированию + 0.3 * Проект по программированию + 0.2 * Экзамен по программированию

Список литературы

Авторы

Сериков Олег Алексеевич
Казакова Татьяна Борисовна
Ляшевская Ольга Николаевна
Королева Анастасия Романовна
Рословцева Кристина Олеговна
Бузанов Антон Олегович

Бакалаврская программа «Фундаментальная и компьютерная лингвистика»

Программирование и лингвистические данные

Преподаватели

Программа дисциплины