Python для сбора и анализа данных

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Статус: Курс обязательный (Компьютерные науки и анализ данных)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Весельев Александр Николаевич, Горшков Сергей Сергеевич, Федоров Михаил Антонович

Язык: русский

Кредиты: 3

Контактные часы: 40

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

На сегодняшний день Python является стандартом индустрии для анализа данных. По окончании этого курса, студенты получат в свое распоряжение набор аналитических инструментов, которые им пригодятся как в академии, так и при работе в частном или государственном секторе. Целью этого курса является развитие навыков программирования и создание крепкой практической базы для анализа и презентации данных.

Цель освоения дисциплины

Курс должен помочь студентам освоить основные библиотеки Python для анализа данных и научить проводить первичный анализ данных с помощью этих библиотек.

Планируемые результаты обучения

Знать библиотеку numpy для анализа данных
Знать библиотеку pandas для анализа данных
Знать об особенностях многопоточности в Python и уметь ускорять код, использующий вышеописанные библиотеки
Знать язык SQL, иметь навыки работы с реляционными БД
Понимать основные отличия модели MapReduce от Spark
Понимать основные принципы работы распределенных систем, модель MapReduce.
Уметь написать простое веб-приложение на языке Python
Уметь развернуть простое веб-приложение с использованием технологии Docker, понимать принципы ее работы
Уметь развернуть простое веб-приложение с использованием технологии Kubernetes, понимать принципы ее работы
Уметь решать задачи на визуализацию данных с помощью модулей matplotlib, seaborn, plotly
Уметь работать с API и проектировать его
Уметь интегрировать работу с базой данных в сервис, реализовывать миграции баз данных.
Понимать основы работы с многопоточностью и многопроцессностью, синхронизацией потоков исполнения

Содержание учебной дисциплины

Модуль numpy
Модули matplotlib, seaborn, plotly для визуализации данных.
Global Interpreter Lock в Python. Модуль multiprocessing. Вопросы производительности python и pandas.
Реляционные базы данных и SQL
Распределенные системы, свойства и задачи. CAP теорема.
Spark: основные идеи, сравнение с MapReduce.
Создание приложения с помощью FastAPI - 1.
Создание первого приложения с помощью FastAPI, sqlalchemy, миграции баз данных с alembic, структура API.
Облачные вычисления. Виртуализация и её типы.
Концепция Docker Swarm. Kubernetes. Основные компоненты архитектуры K8s.
Модуль pandas.

Элементы контроля

Homework
Бонус
Бонусный проект, без его выполнения можно заработать максимальный балл по курсу

Промежуточная аттестация

2023/2024 3rd module
= МАКС(СУМ(ДЗ) / 6 + БОНУС, 10)

Список литературы

Авторы

Горшков Сергей Сергеевич
Соколов Евгений Андреевич
Боднарук Иван Иванович
Андронова Екатерина Юрьевна

Программа дисциплины