Магистратура
2024/2025
Современные технологии хранения данных
Статус:
Курс обязательный (Прикладные модели искусственного интеллекта)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Департамент прикладной математики
Когда читается:
2-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Преподаватели:
Титова Наталия Николаевна
Прогр. обучения:
Прикладные модели искусственного интеллекта
Язык:
русский
Кредиты:
6
Программа дисциплины
Аннотация
Курс направлен на знакомство с современными технологиями хранения данных. В нем рассматриваются алгоритмические и технологические аспекты реляционных и нереляционных баз данных, особенности сбора и хранения больших данных (big data).Курс "Современные технологии хранения данных" предлагает комплексное введение в аналитические и технологические аспекты работы с данными. Он охватывает широкий спектр тем, начиная с основ баз данных и заканчивая современными облачными решениями и технологиями распределенной обработки данных.▎Введение в аналитику и структура курсаКурс начинается с обзора аналитических подходов и структуры курса, что позволяет слушателям понять, какие навыки и знания они приобретут.Базы данных и СУБД- Обзор мирового и отечественного рынков БД: Изучение текущих тенденций и ключевых игроков на рынке баз данных.- Моделирование данных: Основы проектирования и оптимизации структур данных для эффективного хранения и обработки.Инструменты и технологии DWH- Изучение инструментов для построения хранилищ данных (DWH), что позволяет интегрировать данные из различных источников для анализа.SQL и получение данных (PostgreSQL)- Исследование данных на SQL: Практическое применение SQL для извлечения, анализа и манипуляции данными в PostgreSQL.- Расширения и модули PostgreSQL: Работа с JSON, расширение возможностей PostgreSQL для более сложных задач.PostgreSQL для администраторов и разработчиков- Углубленное изучение администрирования и разработки в PostgreSQL, включая оптимизацию производительности и безопасность.NoSQL и средства высокой доступности- MongoDB и Cassandra: Основы работы с NoSQL базами данных, их архитектура и области применения.- Средства высокой доступности: Обеспечение надежности и масштабируемости систем.Обзор систем балансировки, брокеров и сервисных сетей- Изучение систем, таких как Kafka и NATS, для эффективной обработки потоковых данных.- AMQP: RabbitMQ, ActiveMQ: Применение протоколов обмена сообщениями для интеграции приложений.Hadoop File System и облачные хранилища- Hadoop HDFS: Основы распределенного хранения данных.- S3, Ceph, GFS, NFS: Обзор современных облачных решений для хранения данных.- Blockchain: Потенциал блокчейн-технологий для безопасного хранения данных.MapReduce-подход и Apache Hadoop- Изучение подхода MapReduce для обработки больших данных с помощью Apache Hadoop.- ETL - подготовка и предобработка данных: Методы извлечения, трансформации и загрузки данных для анализа.- Контроль качества данных: Обзор методов обеспечения качества данных.Облачные платформы- Изучение возможностей AWS, Google Cloud, Azure и Яндекс.Облака для хранения и обработки больших объемов данных.NewSQL базы данных- GreenPlum, CockroachDb, NeonDB: Изучение NewSQL решений, объединяющих преимущества реляционных баз данных с масштабируемостью NoSQL.Курс предоставляет слушателям всесторонний обзор современных технологий хранения данных, позволяя им эффективно работать с большими объемами информации в различных контекстах.