Интеллектуальный анализ данных и основы машинного обучения

2020/2021

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Майнор

Кто читает: Департамент математики

Где читается: Санкт-Петербургская школа физико-математических и компьютерных наук

Когда читается: 1, 2 модуль

Преподаватели: Сироткин Александр Владимирович, Суворова Алёна Владимировна, Чуприна Дарья Викторовна

Язык: русский

Кредиты: 5

Контактные часы: 60

Полная версия программы учебной дисциплины

Аннотация

Данный курс посвящен развитию и закреплению навыков, полученных в двух предыдущих курсах майнора. В первой части курса акцент сделан на знакомстве с основными понятиями и алгоритмами машинного обучения, а также соответствующими математическими моделями. Вторая часть курса позволяет более детально погрузиться в одну из выбранных областей. Курс ориентирован на формирование у студентов способности строить собственные модели, ориентированные на конкретные имеющиеся данные, и обзорное знакомство с очень широким спектром методов. В результате освоения курса студенты будут способны самостоятельно разбираться в существующих методах, а так же самостоятельно осваивать методы и модели, не разбиравшиеся подробно в курсах, но необходимые для обработки конкретных специфических данных.

Цель освоения дисциплины

Целями освоения дисциплины «Интеллектуальный анализ данных и основы машинного обучения» являются освоение основных понятий и методов машинного обучения, развитие навыков программирования для решения задач предсказания на языке R, а также углубление навыков работы с данными в специфических областях, включая клиентскую аналитику и визуализацию.

Планируемые результаты обучения

знает основные понятия машинного обучения
преобразовывает описание задачи в формулировку в терминах задачи построения модели регрессии или классификации
разрабатывает модели на языке R для решения задач предсказания
оценивает качество моделей машинного обучения
интерпретирует результаты моделей машинного обучения
решает задачи кластеризации на языке R
разрабатывает модели для решения задач клиентской аналитики
визуализирует результаты анализа специализированных данных

Содержание учебной дисциплины

Основные понятия машинного обучения
Понятие машинного обучения. Задачи обучения с учителем и без учителя. Задачи классификации и регрессии. Статистическая теория принятия решений. Разложение bias- variance-noise. Переобучение. Тестовая и обучающая выборки. Кросс-валидация.
Задачи классификации и регрессии
Линейная регрессия. Регрессионные деревья. Ошибки модели в задачах регрессии. Метрики качества. Логистическая регрессия. Классификационные деревья. Метрики качества классификации
Ансамбли моделей и интерпретация
Ансамбли моделей: методы голосования, бустинг, бэггинг, стакинг. Алгоритм случайного леса, градиентный бустинг. Глобальная интерпретация, важность признаков. Алгоритм рекурсивного удаления признаков. Локальная интерпретация (LIME).
Обучение без учителя
Примеры задач обучения без учителя. Классификация, метод k-средних, иерархическая кластеризация. Задачи отбора признаков.
Интеллектуальный анализ данных
Трек 1: клиентская аналитики, введение в SQL, прогнозирование оттока клиентов, дашборды Трек 2: алгоритмы машинного обучения, введение в Python, соревнования по машинному обучению Трек 3: анализ текстов, структурные модели, визуализация сетей и карт

Элементы контроля

Контрольная работа
Упражнения
Домашнее задание
Проект
Форма итогового программного проекта отличается для разных треков. Данные для задания предоставляются преподавателем. Работа выполняется индивидуально. Проект должен содержать все необходимые пояснения и интерпретации. Трек 1. Проект предполагает построение дэшборда и отчета с пояснениями и обоснованием выбора элементов дэшборда для задачи клиентской аналитики и предсказания оттока клиентов. Итоговый отчет содержит следующие разделы: 1) формулировка решаемой задачи, 2) описание методов решения поставленной задачи, 3) полученные результаты и выводы, 4) обоснование включенных в дэшборд элементов (как они помогают представить полученные результаты). Трек 2. Проект предполагает построение предсказательной модели в формате соревнования по машинному обучению и составление отчета с пояснениями по построенной модели. Итоговый отчет содержит следующие разделы: 1) предварительное исследование данных, 2) описание используемых для предсказания признаков и способы их формирования, 3) как минимум две предсказательные модели и обоснование выбора итоговой модели, 4) описание результатов в соревновании. Трек 3. Проект предполагает составление аналитического отчета по выбранной тематике (в контексте сетей и текстов) и оформление результатов работы в формате блог-поста с визуализациями. Итоговый отчет содержит следующие разделы: 1) описание поставленной задачи, 2) предварительное исследование данных, 3) описание использованных методов, 4) описание полученных результатов.
Контрольная работа
Упражнения
Домашнее задание
Проект
Форма итогового программного проекта отличается для разных треков. Данные для задания предоставляются преподавателем. Работа выполняется индивидуально. Проект должен содержать все необходимые пояснения и интерпретации. Трек 1. Проект предполагает построение дэшборда и отчета с пояснениями и обоснованием выбора элементов дэшборда для задачи клиентской аналитики и предсказания оттока клиентов. Итоговый отчет содержит следующие разделы: 1) формулировка решаемой задачи, 2) описание методов решения поставленной задачи, 3) полученные результаты и выводы, 4) обоснование включенных в дэшборд элементов (как они помогают представить полученные результаты). Трек 2. Проект предполагает построение предсказательной модели в формате соревнования по машинному обучению и составление отчета с пояснениями по построенной модели. Итоговый отчет содержит следующие разделы: 1) предварительное исследование данных, 2) описание используемых для предсказания признаков и способы их формирования, 3) как минимум две предсказательные модели и обоснование выбора итоговой модели, 4) описание результатов в соревновании. Трек 3. Проект предполагает составление аналитического отчета по выбранной тематике (в контексте сетей и текстов) и оформление результатов работы в формате блог-поста с визуализациями. Итоговый отчет содержит следующие разделы: 1) описание поставленной задачи, 2) предварительное исследование данных, 3) описание использованных методов, 4) описание полученных результатов.

Промежуточная аттестация

Промежуточная аттестация (2 модуль)
0.2 * Домашнее задание + 0.25 * Контрольная работа + 0.4 * Проект + 0.15 * Упражнения

Программа дисциплины