SQL для работы с рыночными данными

Магистратура 2024/2025

Статус: Курс по выбору (Социальный анализ рынков на цифровых и опросных данных)

Направление: 39.04.01. Социология

Кто читает: Департамент социологии

Где читается: Факультет социальных наук

Когда читается: 2-й курс, 1 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Пашков Станислав Георгиевич

Прогр. обучения: Прикладные методы социального анализа рынков

Язык: русский

Кредиты: 3

Контактные часы: 24

Полная версия программы учебной дисциплины

Аннотация

Аннотация: Курс посвящен рассмотрению принципов проектирования и управления базами данных в реляционной парадигме. Актуальность курса обусловлена необходимостью работы с социологическими данными большого объема и связной структуры (панельные базы данных, лонгитюдные базы данных). В рамках курса слушатели познакомятся с базовой архитектурой реляционных баз данных, приобретут теоретические и практические навыки конструирования таблиц данных, формирования запросов различной сложности на языке SQL, а также использование полученных запросов на дальнейших этапах обработки данных. Рассмотрен пример установки программного комплекса СУБД PostgreSQL и SQLite в виртуальную машину, клиентов для доступа к структуре БД (Dbeaver + RStudio). В качестве инструмента для аналитики используется статистическая среда R. В результате освоения курса слушатели приобретают навыки самостоятельного создания и управления СУБД, подключения систем аналитики и выборки данных в социологических исследованиях.

Цель освоения дисциплины

Получение системных представлений об архитекстуре реляционных баз данных и СУБД.
Приобретение навыков установки, настройки сервера и клиента СУБД для проектирования баз данных и выполнения запросов на языке SQL.
Выработка навыков построения эффективных запросов на языке SQL.
Приобретение навыков манипуляции с базами данных с помощью DBeaver и статистической среды R.

Планируемые результаты обучения

знание синтаксиса SQL, агрегационных функций, журналирование;
Умеет разарабатывать запросы с использованием языка SQL, реализующие алгоритмы, разработанные на основе операторов реляционной алгебны, включающие возможности связывания таблиц, отбора данных в соответствии с заданными критериями, использования для вычислений агрегатных функций и возможностей группировки данных, возможностей сортировки данных и использования вложенных запросов
Владение навыками формирования SQL-запросов к БД
Знать технологию проектирования сверху-вниз ER-диаграмм.
Студенты познакомятся и сформируют первичный опыт работы в среде R
Двоичная булева алгебра: множество элементов, множество операций. Определение и доказательство постулатов булевой алгебры. Применение булевой алгебры.
Знание основных возможностей системы PostgreSQL и расширений моделей данных и языков запросов, предоставляемые в этой системе.
Рассчитывать статистические критерии в среде R
Проводить регрессионный, факторный и кластерный анализы в среде R
выполняет анализ данных, используя окна и оконные функции в запросах на выборку
Умеет выполнять инфологическое проектирование баз данных методом «сущность-связь»
Получение системного представления об истории и классификации технологий проектирования баз данных.
Знание основных возможностей системы SQLite и расширений моделей данных и языков запросов, предоставляемые в этой системе.
Знание основных концепций и принципов реляционной теории.
Приобретение практических навыков записи, построения и анализа регрессионных моделей, выполненных в статистической среде R.
Приобретение практических навыков организации процедуры анализа статистических (социологических) данных на языке R.
Получение представления о формах и паттернах взаимодействия статистической среды R и СУБД с применением языка SQL.

Содержание учебной дисциплины

Тема №1: История развития баз данных и СУБД. Концептуальная архитектура и операционализация основных понятий. СУБД PostgreSQL и SQLite.
Тема №2: Введение в реляционную теорию и проектирование баз данных
Тема №3: Язык SQL (Часть 1): фундаментальные подходы и устройство синтаксиса
Тема №4: Язык SQL (Часть 2): Расширенные манипуляции, оконные функции, индексирование, процедурный SQL
Тема №5: Построение аналитических пайплайнов на языке R

Элементы контроля

Лабораторная работа №1: настройка СУБД, проектирование базы данных и ER-структуры
Лабораторная работа представляет собой набор практических упражнений, охватывающих Тему №1 и Тему №2 учебного курса. Студенты должны на своих компьютерах создать и настроить тестовую базу данных, внести необходимые данные, проверить целостнтсть базы данных, описать её структуру с помощью ER-диаграмм.
Лабораторная работа №2: Построение запросов и манипуляция с данными на языке SQL
Лабораторная работа представляет собой набор практических упражнений, охватывающих Тему №3 и Тему №4 учебного курса. Студенты должны на своих компьютерах продемонстрировать навыки построения простых и сложных запросов на языке SQL, одновременно с этим не допуская риски потери структуры и целостности данных внутри СУБД.
Финальный проект: Обработка базы данных с использованием языков R и SQL
Данная форма контроля предполагает под собой реализацию Темы №5 и Темы №6 учебного курса. Основное внимание уделено языку R и взаимодействию с СУБД и языком SQL. Предполагается, что студент получил комплексное представление об устройстве СУБД и навыках взаимодействия с базами данных при помощи SQL. В рамках финального проекта необходимо представить концепцию банка данных социологических исследований, которые затем трансформируются в формат таблиц данных в СУБД PostgreSQL. Дополнительно студентом выполняется процесс организации структуры данных, таблиц и дальнейшей обработки данных при помощи статистической среды R. Студенту необходимо подговить небольшую презентацию с описанием структуры данных, а также набор скриптов, дамп базы данных для последующей оценки.

Промежуточная аттестация

2024/2025 1st module
0.25 * Лабораторная работа №1: настройка СУБД, проектирование базы данных и ER-структуры + 0.35 * Лабораторная работа №2: Построение запросов и манипуляция с данными на языке SQL + 0.4 * Финальный проект: Обработка базы данных с использованием языков R и SQL

Список литературы

Авторы

Десятова Мария Ивановна
Пашков Станислав Георгиевич

Программа дисциплины