Python для извлечения и обработки данных

Бакалавриат 2021/2022

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Дизайн)

Направление: 54.03.01. Дизайн

Кто читает: Школа дизайна

Где читается: Факультет креативных индустрий

Когда читается: 3-й курс, 3, 4 модуль

Формат изучения: с онлайн-курсом

Онлайн-часы: 28

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Александров Дмитрий Владимирович

Язык: русский

Кредиты: 3

Контактные часы: 4

Полная версия программы учебной дисциплины

Аннотация

Курс «Программирование на языке Python» имеет целью обучить студентов не только работе в Python, но и основам программирования вообще, поскольку наиболее базовые принципы являются схожими почти во всех языках программирования. При решении ряда задач исследователи часто сталкиваются с необходимостью работать с большими массивами данных. Для того чтобы эффективно работать с разными типами данных, необходимо знать основы программирования, так как именно навыки программирования позволяют автоматически собирать необходимую информацию за достаточно быстрое время. В качестве языка программирования в данном курсе используется Python. Язык Python на данный момент является очень популярным, в том числе в исследованиях в рамках социальных наук. Дисциплина подразделяется на два блока. Первый блок посвящен основам программирования и включает необходимые для дальнейшей работы в Python темы: переменные и типы данных, списки и кортежи, словари, условные конструкции, циклы и функции. Второй блок посвящен решению прикладных задач в Python и включает темы, связанные со сбором и анализом данных: выгрузка данных с сайтов, парсинг веб-страниц, работа с таблицами.

Цель освоения дисциплины

Овладение базовыми навыками программирования на языке Python, методами сбора и обработки данных для решения политологических и социально-экономических задач

Планируемые результаты обучения

Визуализирует графики с использованием pyplot, отображает картографическую информацию с помощью API leaflet
Обрабатывает данные в формате json, работает с публичным интерфейсом API
Применяет логические выражения, условный оператор, оператор цикла while
Применяет цикл for, функцию range, решает задачи с использованием локальных и глобальных переменных
Решает задачи на ввод-вывод и целочисленную арифметику
Решает задачи на работу с вещественными числами, применяет функции работы со строками
Применяет списки, кортежи, множества, методы работы с отдельными элементами и всеми структурами
Знает основы HTML, получает ресурсы по URL-адресу, использует библиотеки для обработки HTML
Размечает данные с помощью XML, умеет получать геоданные
Студенты научатся создавать программы, решающие задачи по заданному алгоритму на языках Python, а также пользоваться интерпретатором языка Python для их выполнения
Студенты освоят основные конструкции и идиомы языков программирования Python, необходимые для изучения других дисциплин, предусмотренных базовым и рабочим учебными планами, а также для применения в профессиональной деятельности
Студенты приобретут навыки формализации и решения практических задач по программированию для извлечения и анализа данных
Умеет работать с текстом, структурированными файлами (csv), xlsx-файлами и листами в них

Содержание учебной дисциплины

Арифметика
Условный оператор, цикл while
Вещественные числа и строки
Цикл for, функции
Словари и множества
Обработка текстовых файлов и электронных таблиц
Обработка и создание HTML-страниц
XML и передача параметров в URL
json и API
Визуализация данных
Основные конструкции и идиомы языков программирования Python
Интерпретатор языка Python
Программирование для извлечения и анализа данных

Элементы контроля

Домашнее задание
Домашние задания предполагают решение задач по программированию по пройденным темам. С учетом разного уровня подготовки студентов домашние задания представляют собой набор задач разной сложности, которые весят разное количество баллов. В начале каждого домашнего задания указано общее число баллов, которое нужно набрать, чтобы получить оценку 10. Все задачи будут проверены и оценены, но получить оценку выше 10 за домашнее задание невозможно. Работы сдаются в установленную преподавателем дату не позднее 23:59 (мск). После 23:59 (мск) работы не принимаются, выставляется оценка 0. В случае подозрения в несамостоятельном выполнении домашнего задания преподаватель имеет право обнулить оценку за него. По усмотрению преподавателя допускается провести устную защиту домашнего задания для восстановления оценки (но не более двух раз за курс для каждого студента).
Тесты
Тесты представляют собой набор вопросов с выбором ответа по пройденным темам. Тесты направлены на проверку теоретических знаний студентов по программированию в Python: назначение и особенности работы операторов, устройство управляющих конструкций и циклов, особенности типов и структур данных, типы ошибок. Тесты проводятся в начале лекции и рассчитаны на 15 минут, формат open book. Всего в течение курса предполагается проведение 4 тестов.
Онлайн курс
Выполнение блоков из онлайн курсов «Python как иностранный» на платформе online.hse по разбираемым темам. Перед лекцией на платформе вывешивается задание с фиксированным дедлайном – просмотреть материалы по определенной теме и выполнить предложенные в блоке задачи.
Экзамен
Экзамен проводится в конце модуля и рассчитан на 120 минут. Экзамен состоит из двух частей: теоретической и практической. Экзамен организуется на платформе online.hse.ru. Теоретическая часть включает несколько тестовых вопросов и вопросов с развернутым ответом по базовым фактам о языке программирования Python (типы данных, изменяемость объектов, особенности работы с разными объектами Python), а также задания с небольшими отрывками кода, в которых необходимо найти ошибки или пояснить, что будет выведено на экран при исполнении кода. Практическая часть включает три задачи по программированию. Во время выполнения экзамена разрешается пользоваться материалами, предоставленными преподавателями. Во время экзамена запрещается общаться с другими студентами, использовать мобильные телефоны, открывать социальные сети и создавать новые вопросы на компьютерных форумах и ресурсах по типу stackoverflow. В случае нарушения правил проведения экзамена студент удаляется с экзамена с оценкой «0». К нарушениям правил проведения экзамена относятся: коммуникация с другими студентами во время выполнения работы, использование социальных сетей/телефона во время работы (с любой целью), списывание. Оценка за экзамен рассчитывается как доля набранных баллов из всех возможных баллов, домноженная на 10 (без округления).

Промежуточная аттестация

2021/2022 учебный год 4 модуль
0.6*онлайн + 0.4*экзамен блок

Программа дисциплины