Прикладной анализ многомерных и потоковых социально-экономических данных на языке R

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Социология)

Направление: 39.03.01. Социология

Кто читает: Департамент социологии

Где читается: Факультет социальных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Пашков Станислав Георгиевич

Язык: русский

Кредиты: 6

Контактные часы: 48

Полная версия программы учебной дисциплины

Аннотация

Курс знакомит слушателей с ключевыми аспектами профессиональной работы в статистической среде R (CRAN R) при выполнении задач социально-экономического (количественного) исследования и задач естественной обработки языка в рамках качественного исследования. В рамках курса последовательно освещаются базовые принципы организации программного кода на данном языке, системам типов данных, основам функционального программирования. Небольшое внимание уделяется вопросам хранения и обработки больших объемов данных (Big Data) с использованием SQL-подходов (реляционных баз данных на примере PostgreSQL). Большую часть курса слушатели изучают прикладные методы статистического анализа микроданных (социология) и макроданных (социально-экономическая статистика), включая классические методы статистической теории, эконометрического анализа, некоторых аспектов Байесовской статистики и теории графов (в рамках исследования возможностей количественно-качественных методов обработки структурированных текстовых данных). В ходе изучения материала уделяется внимание организации процесса аналитики ("пайплайнов") с включением исследовательских гипотез, идентификации социально-экономических исследовательских проблем и определения инсайтов для выработки принципов оперативной аналитики. В качестве источников данных рассматриваются массивы социологических данных, размещенных в ЕАЭСД ВШЭ, RLMS, Росстата, Public.Ru.

Цель освоения дисциплины

Приобрести представление о модели организации анализа данных для получения оперативных и детальных результатов на основе полученных данных.
Приобрести навыки программирования на языке R.
Научиться выполнять комплексный анализ социологических данных, проводить глубинный анализ результатов.
Освоить принципы кодирования интервью и иного текстового материала при помощи R.
Выработать навыки работы в команде для последующей презентации результатов в рамках поставленного ТЗ.

Планируемые результаты обучения

Знает отличия между моделями эксплораторного и конфирматорного факторного анализа, кластерный анализ, многомерное шкалирование. Умеет проводить эксплораторный факторный анализ.
Умеет выполнять предобработку данных и разведочный анализ данных с помощью релевантного программного обеспечения
Осуществляет анализ текстовой информации с использованием технологии Text Mining
Способен проводить регрессионный анализ и оценивать качество полученных моделей. Знает ограничения и область применения регрессионных моделей.
Освоение многомерных статистических данных, их представление и обобщающих характеристик
Владеет общими понятиями базы данных. Владеет понятием СУБД в прикладных системах. Владеет общими понятиями реляционной модели.
Владеет навыками расчета корреляционных статистик (включая факторный анализ) в R
Выполняет кластерный анализ и визуализирует результат
Умеет проводить корреляционно-регрессионный анализ данных
Формулировка содержательной задачи на text mining и обоснование подходящего для её решения метода.
Подготовленный для text mining корпус документов, в т.ч. предобработанный.
Имеет представление о классификации вычислительных систем, об основных направлениях совершенствования архитектур и общих принципах построения высокопроизводительных систем.
Получить системное представление о программном инструментарии, необходимом для выполнения широкого спектра научно-прикладных задач.
Получить базовое представление о системном устройстве ЭВМ, необходимое для понимания принципов работы ключевого инструментария.
Получение практических и методических принципов организации процедуры раннего анализа данных.
Применение навыков ad-hoc постановки задач исследования и выбора расчетных методов ее реализации
Получение системной и последовательной практики проверки параметрических и непараметрических гипотез для дальнейшего принятия решения по анализу данных.
Получение практических и методических принципов организации процедуры факторного анализа.
Получение представления о роли классических и актуальных социологических теорий/подходов в анализе социальных систем и социальных групп.

Содержание учебной дисциплины

Введение в статистическую среду R
Гибкий разведочный анализ в среде R — 1
Гибкий разведочный анализ в среде R — 2
Многомерный анализ центральных тенденций (средних) в среде R
Факторный анализ
Кластерный анализ
Регрессионный анализ — 1
Регрессионный анализ — 2
Введение в теорию графов и SNA в R
Введение в NLP и методологию автоматизированного сбора данных средствами R
Введение в HPC (высокопроизводительные вычисления) с помощью R
Логика работы с большими данными и централизованными хранилищами | введение в SQL

Элементы контроля

Посещение семинаров
Посещение семинаров необходимо для получения комплексного понимания материала, а также возможности отслеживания качества усвоения. Предполагается, что из 12 тем обязательными являются первые 10, по которым и будет вестись учёт посещения по формуле «1 посещение = 1 балл». Всего можно набрать 10 баллов. Темы 11 & 12 являются факультативными, по ним учет вестись не будет.
Лабораторная работа — 1
Лабораторная работа №1 посвящена темам 2-3. Предполагается, что в день анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Лабораторная работа — 2
Лабораторная работа №3 посвящена теме 10. Предполагается, что в день анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Лабораторная работа — 3
Лабораторная работа №3 посвящена темам 7-9. Предполагается, что в деть анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Лабораторная работа -- 4
Лабораторная работа №3 посвящена теме 10. Предполагается, что в деть анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Групповой проект
Финальный групповой проект представляет из себя ТЗ, которое раздается индивидуальной команде студентов для применения всех знаний и практик, полученных в ходе освоения тем 1-10. Студенты выполняют проект на протяжении всего курса, постепенно получая знания, необходимые для успешного выполнения проекта. В качестве предмета проекта выступает презентация и аналитический документ, собранный с помощью инструмента RMarkdown. Оценка учитывает качество проекта, глубину анализа и умение реагировать на критические вопросы условного «Заказчика».

Промежуточная аттестация

2023/2024 учебный год 2 модуль
0.2 * Групповой проект + 0.15 * Лабораторная работа -- 4 + 0.1 * Лабораторная работа — 1 + 0.2 * Лабораторная работа — 2 + 0.25 * Лабораторная работа — 3 + 0.1 * Посещение семинаров

Программа дисциплины