Кто читает:: Департамент больших данных и информационного поиска

Статус:: Курс обязательный

Когда читается:: 3-й курс, 1 модуль

Преподаватели

Васильев Николай Николаевич

Карпов Максим Евгеньевич

Никитюк Михаил Андреевич

Полная версия программы учебной дисциплины

Аннотация

Данный курс представляет собой адаптацию общеуниверситетского курса по анализу данных и направлен на формирование компетенций в области статистики и анализа данных. В курсе будут рассмотрены темы, которые необходимы для успешного освоения основных понятий и методов, связанных с анализом данных. Также будут рассмотрены темы, связанные с основами машинного обучения. Дисциплина реализуется с помощью онлайн-курса «Учебник по Анализу данных (Базовый)» в SmartLMS (https://edu.hse.ru/course/view.php?id=136232).

Цель освоения дисциплины

Целью освоения дисциплины «Анализ данных» является овладение студентами основами статистики и анализа данных для применения в решении различных практических задач.

Планируемые результаты обучения

Использовать Python в применении к анализу данных.
Корректно открывать табличные данные различных форматов.
Фильтровать данные по нескольким условиям.
Сортировать данные.
Использовать собственноручно написанные функции для обработки данных, создания новых переменных.
Создавать сводные таблицы.
Вычислять описательные статистики и интерпретировать полученные результаты.
Переводить значения признака в z-оценки.
Обрабатывать пропущенные значения и выбросы.
Вычислять релевантные описательные статистики и интерпретировать полученные результаты.
Вычислять коэффициент корреляции Пирсона и интерпретировать полученные результаты.
Визуализировать данные с помощью простейших видов диаграмм: линейной, точечной, столбчатой.
Понимать и корректно использовать основные статистические понятия.
Визуализировать данные с помощью различных диаграмм: тепловой карты, ящика с усами и других.
Создавать интерактивные визуализации.
Реализовывать разведочный анализ данных.
Уметь реализовывать все шаги проверки статистических гипотез.
Применять параметрические статистические критерии для проверки гипотез.
Применять непараметрические статистические критерии для проверки гипотез.
Построить уравнение линейной регрессии с использованием метода наименьших квадратов.
Оценивать качество модели линейной регрессии с помощью релевантных метрик.
Решать задачу классификации с использованием логистической регрессии и KNN.
Оценивать качество модели классификации с помощью релевантных метрик.

Содержание учебной дисциплины

Введение в инструменты.
Введение в статистику. Базовые манипуляции с данными.
Типы данных. Создание новых переменных.
Генеральная совокупность и выборка. Частотные таблицы и распределения.
Описательные статистики: меры центральной тенденции и разброса.
Z-оценка. Выбросы.
Корреляция.
Введение в визуализацию данных.
Продвинутая визуализация данных.
Введение в тестирование гипотез. Непараметрические критерии.
Параметрические критерии для проверки гипотез.
Линейная регрессия.
Логистическая регрессия.
Введение в машинное обучение.

Элементы контроля

Практика на семинаре
Практические задания в Smart LMS с автопроверкой, дедлайн до дня перед следующим семинаром.
Мини-тесты
Контрольная работа
Проект

Промежуточная аттестация

2024/2025 1st module
min(0.1 * Практика на семинаре + 0.15 * Мини-тесты + 0.4 * Контрольная работа + 0.35 * Проект, 8) Согласно положению (ПОПАТКУС), итоговая оценка за дисциплину-пререквизит по цифровой компетенции к соответствующему независимому экзамену не может быть выше 8 баллов.

Список литературы

Авторы

Королева Анастасия Романовна
Карпов Максим Евгеньевич
Рословцева Кристина Олеговна
Кононова Елизавета Дмитриевна

Бакалаврская программа «Экономика и статистика»

Анализ данных

Преподаватели

Программа дисциплины