Семинар наставника "Финансовые технологии и анализ данных"

Магистратура 2024/2025

Статус: Курс обязательный (Финансовые технологии и анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1-4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Масютин Алексей Александрович, Нагорный Олег Станиславович

Прогр. обучения: Финансовые технологии и анализ данных

Язык: русский

Кредиты: 6

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Дисциплина преподается с целью ознакомления слушателей с подходами к решению бизнес-задач в крупных финансовых организациях с применением методов математического моделирования и анализа данных, приобретения навыков постановки прикладных исследовательских задач, проектирования систем машинного обучения, оценки модельных рисков, управления командой ML-специалистов и презентации реализованных решений перед заказчиками. Основной задачей семинара авторы видят не только изучение различных алгоритмов машинного обучения и подходов к максимизации метрики качества, но и развитие способности критически подходить к выбору этих алгоритмов и метрик для конкретных бизнес задач, а также умения видеть ограничения популярных моделей. По итогу слушатели научатся выбирать подходящий алгоритм, выявляющий причинно-следственные связи между явлениями (если это необходимо), организовывать команду для решения конкретной задачи и презентовать результаты своей работы.

Цель освоения дисциплины

Цель освоения дисциплины - анализ научных и практических тенденций в области финансовых технологий
Формирование у студентов комплекса теоретических знаний и методологических основ в области технологий обработки, хранения, преобразования и визуализации данных. В ходе курса рассматриваются все этапы обработки данных: появление данных в OLTP-системах, их транспорт в OLAP-хранилище, сохранение в сырой слой, нормализация в детальный слой, построение аналитических витрин и отчетов, автоматизация процессов, мониторинг здоровья кластера и системы в целом
Формирование знаний, умений и навыков проектирования систем машинного обучения, выбора оптимального алгоритма решения поставленной бизнес-задачи и метода оценки его с учётом имеющихся ограничений. Формирование навыков управления командой специалистов с использованием гибких методологий разработки.

Планируемые результаты обучения

Владение общими навыки проектирования структуры хранилищ данных
Владение навыками работы с реляционными БД, MPP, DFS-хранилищами
Умение строить ETL-процессы, осуществлять потоковую и батчевую обработку данных
Умение строить end-to-end архитектуру хранилища данных, администрировать и поддерживать стабильную работу различных программных комплексов
Умение строить BI-системы и системы операционного мониторинга
Формирует задания для исследования новых рынков, следит за ходом исследований и принимает их результаты
Проводит поиск и анализ наиболее актуальных академических и прикладных исследований в области финансовых технологий
Владеть навыками проектирования ML-систем
Уметь оценивать качество работы ML-моделей, оценивать и митигировать их риски
Уметь оценивать причинно-следственные связи при помощи машинного обучения
Владеть методологиями организации ML-команд и фреймворками решения задач и принятия решений
Быть способными презентовать результаты своей работы заказчику ML-решения в понятном для него виде

Содержание учебной дисциплины

Модельный риск
Ограничения и особенности ML-моделей на примере рекомендательных систем
Causal Inference
Uplift-моделирование как пример Causal Inferenсe
Оценка неопределённости и другие способы оценки качества моделей
Проверка гипотез: А/Б-тесты не предел!
Визуализация, интерпретация и презентация работы ml-моделей
System ML Design
Менеджмент ML-команд
Введение в Data Engineering. Устройство современного дата-пайплайна.
Файловые хранилища. S3-like хранилища. Hadoop-экосистема.
Устройство и основы работы с Apache Spark.
Data Warehousing. Современные архитектуры организации хранилищ данных: Data Vault, Anchor Model, hNhM.
Очереди и работа с потоками данных: Apache Kafka, Spark Streaming
MPP СУБД: Greenplum, Vertica, Clickhouse. Особенности устройства и организации вычислений
Планы запросов. Учимся читать планы запросов на реляционных СУБД и MPP
ETL / ELT. Правила проектирования ETL-процессов
Использование данных. BI-системы
Новые вызовы в DE

Элементы контроля

Домашнее задание 1
Домашнее задание 2
Домашнее задание 3
Домашнее задание 4
Работа на семинарах
Групповой проект
Групповой проект по дизайну ML-системы
Тест за 3 модуль
Тест с вопросами по темам 3-ого модуля
Тест за 4 модуль
Тест с вопросами по темам 4-его модуля

Промежуточная аттестация

2024/2025 4th module
0.4 * Групповой проект + 0.3 * Работа на семинарах + 0.1 * Тест за 3 модуль + 0.2 * Тест за 4 модуль
2025/2026 3rd module
0.25 * Домашнее задание 1 + 0.25 * Домашнее задание 2 + 0.25 * Домашнее задание 3 + 0.25 * Домашнее задание 4

Список литературы

Авторы

Яковлева Илона Александровна

Программа дисциплины

Программа дисциплины

Программа дисциплины

Аннотация

Цель освоения дисциплины

Планируемые результаты обучения

Содержание учебной дисциплины

Элементы контроля

Промежуточная аттестация

Список литературы

Рекомендуемая основная литература

Рекомендуемая дополнительная литература

Авторы