Технологии работы с большими массивами данных

Магистратура 2020/2021

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Интеллектуальный анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Кафедра прикладной математики и информатики (Нижний Новгород)

Где читается: Факультет информатики, математики и компьютерных наук (Нижний Новгород)

Когда читается: 1-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Преподаватели: Крылов Владимир Владимирович

Прогр. обучения: Интеллектуальный анализ данных

Язык: русский

Кредиты: 4

Контактные часы: 60

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Изучение данной дисциплины базируется на следующих дисциплинах: • Дискретная математика • Теория вероятности • Исследование операций. В результате освоения дисциплины студент должен: • Знать основные характеристики больших данных, знать основные технологии, применяемые для хранения и поиска в больших данных. • Уметь применять методы анализа больших данных, уметь реализовывать приложения для аналитики больших данных

Цель освоения дисциплины

Ознакомление с основными технологиями решения задач обработки больших по объему, быстро изменяющихся и плохо структурированных данных, объединяемых термином «большие данные»

Планируемые результаты обучения

Знать определения в области больших данных. Международные стандарты
Уметь планировать жизненный цикл проектов по аналитике больших данных
Уметь разрабатывать программные решения для сбора и визуализации данных с использованием библиотек Python
Знать архитектуру платформ работы с большими данными Hadoop, Spark, SparkX, Neo4J и уметь разрабатывать приложения на этих платформах
Ознакомиться с типовыми решениями в прикладных задачах

Содержание учебной дисциплины

Тема 1. Большие данные как феномен ИТ и их роль в технике, экономике и жизни
Определение термина большие данные и базовая модель. Применение больших данных. Роль больших данных в национальной экономике. Требования к профессии аналитика больших данных
Тема 2. Жизненный цикл проекта по аналитике больших данных
Основные этапы жизненного цикла. Сбор, консолидация и очистка данных. Построение моделей, роль машинного обучения
Тема 3. Основные техники работы с большими данными
Сбор и консолидация данных, визуализация данных, язык Python для аналитики, библиотека Tensor Flow, работа с СУБД
Тема 4. Основные технологии и инструменты работы с большими данными
Hadoop, HDFS, Map/Reduce, YARN, Storm, Apache Spark
Тема 5. Приложения больших данных
Особенности разработки программных решений, использующих большие данные. Обучаемые модели на структурированных данных. Примеры использования технологий больших данных в актуальных приложениях