Прикладной анализ многомерных и потоковых социально-экономических данных на языке R

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Социология)

Направление: 39.03.01. Социология

Кто читает: Департамент социологии

Где читается: Факультет социальных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Пашков Станислав Георгиевич

Язык: русский

Кредиты: 6

Контактные часы: 48

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Курс предлагает слушателям углубленное знакомство с основными аспектами работы в статистической среде R (CRAN R), применяемой для решения задач социально-экономических исследований и обработки естественного языка в рамках качественных исследований. В ходе обучения акцентируется внимание на принципах организации программного кода, системах типов данных и основах функционального программирования. Основное внимание уделяется прикладным методам статистического анализа, включая работу с микроданными (социология) и макроданными (социально-экономическая статистика). Рассматриваются актуальные вопросы статистической теории и прикладного анализа данных, введения в Байесовскую статистики. Отдельно рассмотрена теория графов, которая позволяет исследовать возможности количественно-качественных методов обработки структурированных текстовых и сетевых данных. Кроме того, курс охватывает продвинутые методы анализа данных (машинное обучение, алгоритмы кластеризации), вопросы хранения и обработки больших объемов данных с использованием SQL-подходов, на примере реляционных баз данных, таких как SQLite. Слушатели изучат техники предсказательной аналитики, которые помогут в принятии обоснованных решений на основе полученных результатов. В процессе изучения материала акцентируется внимание на организации аналитических процессов ("пайплайнов"), формулировании исследовательских гипотез, выявлении социально-экономических проблем и определении инсайтов для оперативной аналитики. В качестве источников данных рассматриваются массивы социологических данных из ЕАЭСД ВШЭ, RLMS, Росстата, баз данных СМИ.

Цель освоения дисциплины

Овладеть практическими навыками оперативной обработки данных и построения предварительных гипотез с опорой на используемые в ТЗ предмет и объекты исследования.
Сформировать практические навыки разработки аналитических процессов и приложений с помощью языка программирования R.
Получить комплексное представление о том, как организовывать эффективный разведывательный анализ данных и строить содержательные выводы с опорой на полученные данные и применяемые теоретические подходы.
Расширить представление о "классических" и "трендовых" методах статистической обработки статических и динамических социальных данных (на примере R).
Освоить принципы кодирования интервью и иного текстового материала при помощи R.

Планируемые результаты обучения

Знает отличия между моделями эксплораторного и конфирматорного факторного анализа, кластерный анализ, многомерное шкалирование. Умеет проводить эксплораторный факторный анализ.
Умеет выполнять предобработку данных и разведочный анализ данных с помощью релевантного программного обеспечения
Осуществляет анализ текстовой информации с использованием технологии Text Mining
Способен проводить регрессионный анализ и оценивать качество полученных моделей. Знает ограничения и область применения регрессионных моделей.
Освоение многомерных статистических данных, их представление и обобщающих характеристик
Владеет общими понятиями базы данных. Владеет понятием СУБД в прикладных системах. Владеет общими понятиями реляционной модели.
Владеет навыками расчета корреляционных статистик (включая факторный анализ) в R
Выполняет кластерный анализ и визуализирует результат
Умеет проводить корреляционно-регрессионный анализ данных
Формулировка содержательной задачи на text mining и обоснование подходящего для её решения метода.
Подготовленный для text mining корпус документов, в т.ч. предобработанный.
Получить системное представление о программном инструментарии, необходимом для выполнения широкого спектра научно-прикладных задач.
Получить базовое представление о системном устройстве ЭВМ, необходимое для понимания принципов работы ключевого инструментария.
Получение практических и методических принципов организации процедуры раннего анализа данных.
Применение навыков ad-hoc постановки задач исследования и выбора расчетных методов ее реализации
Получение системной и последовательной практики проверки параметрических и непараметрических гипотез для дальнейшего принятия решения по анализу данных.
Получение практических и методических принципов организации процедуры факторного анализа.
Получение представления о роли классических и актуальных социологических теорий/подходов в анализе социальных систем и социальных групп.

Содержание учебной дисциплины

Введение в статистическую среду R
Гибкий разведочный анализ в среде R (Часть 1)
Гибкий разведочный анализ в среде R (Часть 2)
Многомерный анализ центральных тенденций (средних) в среде R
Факторный/Кластерный анализ (Часть 1)
Факторный/Кластерный анализ (Часть 2)
Регрессионный анализ (Часть 1)
Регрессионный анализ (Часть 2)
Введение в теорию графов и SNA в R
Введение в NLP и методологию автоматизированного сбора данных средствами R
Введение в HPC (высокопроизводительные вычисления) с помощью R
Логика работы с большими данными и централизованными хранилищами | Введение в SQL

Элементы контроля

Посещение семинаров
Посещение семинаров необходимо для получения комплексного понимания материала, а также возможности отслеживания качества усвоения. Предполагается, что из 12 тем обязательными являются первые 10, по которым и будет вестись учёт посещения по формуле «1 посещение = 1 балл». Всего можно набрать 10 баллов. Темы 11 & 12 являются факультативными, по ним учет вестись не будет.
Лабораторная работа — 1
Лабораторная работа №1 посвящена темам 2-3. Предполагается, что в день анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Лабораторная работа — 2
Лабораторная работа №3 посвящена теме 10. Предполагается, что в день анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Лабораторная работа — 3
Лабораторная работа №3 посвящена темам 7-9. Предполагается, что в деть анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Лабораторная работа -- 4
Лабораторная работа №3 посвящена теме 10. Предполагается, что в деть анонса Лабораторной работы студенты начинают выполнять первые задания (минимальное число баллов для сдачи работы) с преподавателем, а затем дома проводят самостоятельную работу над заданиями.
Групповой проект
Финальный групповой проект представляет из себя ТЗ, которое раздается индивидуальной команде студентов для применения всех знаний и практик, полученных в ходе освоения тем 1-10. Студенты выполняют проект на протяжении всего курса, постепенно получая знания, необходимые для успешного выполнения проекта. В качестве предмета проекта выступает презентация и аналитический документ, собранный с помощью инструмента RMarkdown. Оценка учитывает качество проекта, глубину анализа и умение реагировать на критические вопросы условного «Заказчика».

Промежуточная аттестация

2023/2024 учебный год 2 модуль
0.2 * Групповой проект + 0.15 * Лабораторная работа -- 4 + 0.1 * Лабораторная работа — 1 + 0.2 * Лабораторная работа — 2 + 0.25 * Лабораторная работа — 3 + 0.1 * Посещение семинаров

Список литературы

Авторы

Пашков Станислав Георгиевич

Программа дисциплины