Кто читает:: Департамент больших данных и информационного поиска

Статус:: Курс обязательный

Когда читается:: 1-й курс, 1-4 модуль

Преподаватель

Касьяненко Дарья Алексеевна

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Данный курс представляет собой ключевую часть образовательного процесса магистратуры для будущих дата-инженеров. В ходе обучения студенты будут вовлечены в обмен опытом с профессионалами в области дата-инженерии, которые выступят в роли наставников. В рамках семинара студенты будут работать над реальными проектами, применяя свои навыки в практических задачах под руководством наставников. Семинар также будет посвящен развитию мягких навыков, таких как коммуникация, руководство, аналитическое мышление и принятие решений, что является важным аспектом успешной карьеры в данной области.

Цель освоения дисциплины

Узнать о передовых технологиях и лучших практиках в индустрии
Понимать, как инструменты инженерии данных применяются в российских компаниях

Планируемые результаты обучения

Оценивает личный уровень сформированности профессиональных компетенций
Проводит мониторинг формирования профессиональных компетенций в соответствии с индивидуальной траекторией
Формирует индивидуальную траекторию профессионального развития
Формулирует личную цель профессионального развития
Знание профессиональных требований, предъявляемых рынком труда, к выбранному направлению профессионального развития.
Понимание актуальных направлений развития современного data engineering
Определять значение и роль данных в современном бизнесе и технологиях, тренды развития профессии, профессиональные требования, предъявляемые рынком
Оценивать личный уровень сформированности профессиональных компетенцией
Работать с основными командами Linux: навигация по файловой системе, управление файлами и каталогами, работа с процессами.
Подготавливать конфигурационные файлы для формирования системы.
Выполнять основные команды Git: инициализация репозитория, добавление и коммит изменений, просмотр истории.
Работать с удаленными репозиториями: настройка и использование GitHub, GitLab.
Создавать свой репозиторий, простые проекты в Git, выполнять операции с ветками.
Выполнение основных команд и сценариев: работа с файлами и каталогами, перенаправление ввода/вывода, использование пайпов.
Написание и выполнение скриптов, использование переменных и аргументов командной строки.
Автоматизация рутинных задач: создание скриптов для автоматизации процессов сбора и обработки данных.
Работа удаленно с серверами, передает файлы, выполнение настройки сетевого взаимодействия с помощью SCP и SFTP, обеспечение удаленного выполнения команд.
Владение навыками развертывания своей экосистемы на своем ПК.
Настройка и запуск контейнеров для различных приложений, используемых в процессе обработки данных.
Написание и оптимизация Dockerfile для автоматической сборки образов, содержащих необходимые зависимости и настройки.
Настройка сетевых взаимодействий между контейнерами и внешними сервисами.
Выполнять настройку и конфигурацию систем мониторинга: установка, настройка агентов и интеграция с источниками данных.
Выполнять анализ и визуализация данных мониторинга: создание дашбордов, настройка алертов.
Работать и настраивать Prometheus, Grafana, ELK stack на углубленном уровне
Реализовать основные возможности PyTest: написание тестов, использование фикстур и параметризация тестов.
Выполнять организацию тестов: структура тестового проекта, группировка и маркировка тестов.
Выполнять запуск и анализ результатов тестирования: использование различных опций командной строки, интерпретация результатов.
Реализует основы работы с RESTful API: принципы REST, основные методы HTTP-запросов.
Выполняет интеграцию с внешними API: аутентификация, обработка запросов и ответов.
Владеет навыками взаимодействия с API сервисами и создает свои API сервисы.
Настраивать пайплайны для автоматической сборки и тестирования кода при каждом изменении в репозитории.
Настраивать мониторинг для отслеживания выполнения пайплайнов CI/CD и автоматического уведомления о сбоях.
Использовать системы контроля версий для отслеживания изменений в коде и конфигурациях дата-приложений.
Создавать модели машинного обучения, используя данные из блокчейна, для прогнозирования трендов и определения аномалий.
Навыки построения, тренировки и оптимизации моделей машинного обучения.
Навыки разработки и развертывания API, что позволяет интегрировать модели в приложения и предоставлять доступ к предсказаниям.
Навыки совместной работы в командах.
Умение представлять и объяснять свои идеи и результаты
Навыки эффективного планирования времени и ресурсов.
Повышение уровня организованности и способности к быстрой адаптации в условиях ограниченных временных рамок.
Навыки критического мышления, способность находить креативные решения и адаптироваться к возникающим проблемам в процессе работы.
Составлять эффективное резюме.
Проходить технические собеседования и выполнять тестовые задания.
Составлять портфолио дата-инженера в Git.

Содержание учебной дисциплины

Введение в Data Engineering
Практика по работе с Linux для инженеров данных
Практика по работе с Git
Работа с оболочкой Bash для решения задач в области инженерии данных
Работа с серверами и протокол удаленного управления SSH
Работа с Docker
Работа с системами мониторинга данных
Использование PyTest в инженерии данных
Использование API в инженерии данных
CI/CD: практика и кейсы
Использование блокчейн технологий и криптовалют в контексте анализа данных
Машинное обучение: кейсы и аналитика
Мини-хакатон
Развитие карьеры инженера данных

Элементы контроля

Задания с проверкой преподавателем
Результаты выполнения домашних заданий с проверкой преподавателем не подлежат пересдаче на повышенное количество баллов. Повторная сдача задания в случае получения оценки «неудовлетворительно» возможна только по окончанию экзаменационной сессии. При повторной сдаче студенты выполняют то же самое задание, но на основе другого проекта (варианта). Критерии оценки задания в случае пересдачи остаются теми же. Процедура сдачи: 1. Студент выполняет все предлагаемые этапы задания (для каждого задания предусмотрены индивидуальные требования). 2. Студент прикрепляет ссылку на выполненное задание в GitHub. По ссылке есть доступ. 3. Преподаватель в лмс оставляет обратную связь на выполненную работу
Задания с самопроверкой по чек-листу
Процедура пересдачи: Результаты текущего контроля учебной деятельности (выполнение домашнего задания по чек-листу) студентов по дисциплине не подлежат пересдаче на повышенное количество баллов. Процедура сдачи: 1. Студент выполняет все предлагаемые этапы задания. 2. Студент прикрепляет ссылку на выполненное задание в GitHub. По ссылке есть доступ.
Мини-хакатон
Результаты мини-хакатона не подлежат пересдаче на повышенное количество баллов. Процедура сдачи: 1. Подготовка (1 неделя до мероприятия) - Определить тему хакатона. - Подготовить необходимые ресурсы: данные, документацию, инструменты. - Создать группы участников (по 3-5 человек). 2. Реализация (на заключительном вебинаре 3 модуля). Команды работают над проектами: - Проводят анализ данных: работа с предоставленными наборами данных. - Создают пайплайны: обработка и трансформация данных. - Визуализация: создание отчетов или дашбордов. 3. Подготовка презентации: - Каждая команда готовит краткую презентацию (3-5 минут) своего проекта. - Определение ключевых моментов: проблема, решение, демонстрация работы. 4. Презентация проектов и обсуждение результатов - Команды по очереди представляют свои проекты - Команды получают обратную связь от преподавателя.
Портфолио
Результаты контроля учебной деятельности (подготовка портфолио) студентов не подлежат пересдаче на повышенное количество баллов. Процедура сдачи: Результатом работы студента в течении 4-х модулей является портфолио —документ, созданный репозиторий в Git. Название репозитория должно содержать номер группы, фамилию, имя студента. В течении обучения студент выполняет домашние задания, загружает в личный репозиторий в Git и формирует портфолио. Студент так же может сохранять в репозиторий проекты других дисциплин.

Промежуточная аттестация

2024/2025 2nd module
Задания с проверкой преподавателем * 0.4 + Задания с самопроверкой по чек-листу * 0.1 + Мини-хакатон * 0.4 + Портфолио * 0.1
2024/2025 4th module
Задания с проверкой преподавателем * 0.4 + Задания с самопроверкой по чек-листу * 0.1 + Мини-хакатон * 0.4 + Портфолио * 0.1
2025/2026 2nd module
Задания с проверкой преподавателем * 0.4 + Задания с самопроверкой по чек-листу * 0.1 + Мини-хакатон * 0.4 + Портфолио * 0.1
2025/2026 3rd module
0.4 * Задания с проверкой преподавателем + 0.1 * Задания с самопроверкой по чек-листу + 0.4 * Мини-хакатон + 0.1 * Портфолио

Список литературы

Авторы

Касьяненко Дарья Алексеевна
Ахмедова Гюнай Интигам кызы

Магистерская программа «Инженерия данных»

Семинар наставника

Преподаватель

Программа дисциплины