Алгоритмы обработки больших данных

2023/2024

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Статус:

Курс обязательный

Когда читается:

1-й курс, 4 модуль

Преподаватели

Анисковец Илья Григорьевич

Свешников Михаил Михайлович

Программа дисциплины

Аннотация

Настоящая программа учебной дисциплины устанавливает требования к образовательным результатам и определяет содержание и виды учебных занятий и отчетности. Программа предназначена для студентов направления подготовки 01.04.02 Прикладная математика и информатика, обучающихся по образовательной программе магистратуры Финансовые технологии и анализ данных.

Цель освоения дисциплины

• ознакомление студентов с основными задачами машинного обучения на больших данных, их особенностями и ограничениями

Планируемые результаты обучения

• Знать особенности распараллеливания алгоритмов машинного обучения для применения на больших данных
• знать особенности распараллеливания алгоритмов машинного обучения для применения на больших данных;
• владеть инструментами обработки данных в парадигме MapReduce;
• уметь работать с большими данными в реальных задачах.
• умение применять оптимизационные методы для улучшения производительности.

Содержание учебной дисциплины

• Введение в MPP системы
• Введение в Apache Spark
• Форматы хранения данных, Hive, YARN
• SPARK Основы
• SPARK Оптимизация
• SPARK Streaming
• ML на больших данных

Элементы контроля

• Домашние задания
  Домашние работы даются по окончанию изучения каждого раздела дисциплины. Задания формируются по материалам семинаров и лекций.
• Экзамен

Промежуточная аттестация

• 2023/2024 учебный год 4 модуль
  0.6 * Домашние задания + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Murphy, K. P. (2012). Machine Learning : A Probabilistic Perspective. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=480968
• Теория принятия решений : учебник для вузов, Петровский, А. Б., 2009

Рекомендуемая дополнительная литература

• Romeo Kienzler, Md. Rezaul Karim, Sridhar Alla, Siamak Amirghodsi, Meenakshi Rajendran, Broderick Hall, & Shuen Mei. (2018). Apache Spark 2: Data Processing and Real-Time Analytics : Master Complex Big Data Processing, Stream Analytics, and Machine Learning with Apache Spark. Birmingham: Packt Publishing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1991793