Параллельное программирование

Магистратура 2020/2021

Статус: Курс обязательный (Системное программирование)

Направление: 09.04.04. Программная инженерия

Кто читает: Базовая кафедра «Системное программирование» Института системного программирования им. В.П. Иванникова РАН (ИСП РАН)

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1, 2 модуль

Формат изучения: с онлайн-курсом

Преподаватели: Аветисян Арутюн Ишханович, Монаков Александр Владимирович

Прогр. обучения: Системное программирование

Язык: русский

Кредиты: 5

Контактные часы: 56

Полная версия программы учебной дисциплины

Аннотация

Курс "Параллельное программирование" посвящен изучению теории и методов практической разработки параллельных программ для современных архитектур компьютеров. Особенностью курса является комплексное рассмотрение проблем параллелизма, как на уровне библиотек, предоставляемых прикладным программистам, так и на уровне близком к архитектуре микропроцессоров и графических ускорителей, что более важно для системных программистов.

Цель освоения дисциплины

Целью курса является формирование у студентов теоретических знаний и навыков разработки, исследования производительности, оптимизации и отладки параллельных программ для современных архитектур процессоров и графических акселераторов.

Планируемые результаты обучения

Иметь представление о подходах к обеспечению параллелизма
Знать базовые принципы VLIW и Modulo scheduling.
Знать базовые принципы векторного параллелизма
Знать базовые принципы вычисления с плавающей точкой
Знать базовые принципы оптимизации доступа к памяти
Знать базовые принципы параллелизма при использовании многоядерных CPU
Знать базовые принципы межконтекстного взаимодействия
Знать базовые принципы OpenMP
Знать базовые принципы анализа производительности CPU
Знать базовые принципы программирования графических акселераторов
Знать базовые принципы CUDA
Знать базовые принципы OpenACC и OpenMP

Содержание учебной дисциплины

Уровни параллелизма в современных компьютерах. Теоретические подходы: законы Амдаля, Густафсона. Оценки пиковой производительности. Memory wall. Performance/portability tradeoff.
Параллелизм в пределах одного контекста выполнения. Параллелизм на уровне команд. VLIW. SIMD. Delayed branches. Компиляторные преобразования повышающие ILP. Modulo scheduling.
Векторный параллелизм (SIMD). Ограничения компиляторного анализа. Возможности и ограничения явной векторизации через интринсики. Компромисс между производительностью и переносимостью. Структурирование кода для облегчения компиляторного анализа.
Вычисления с плавающей точкой. Принципы IEEE-754. Ограничения и возможности компиляторной трансляции.
Иерархия кешей. Оптимизация доступа к памяти. Префетчинг. Cache-aware и cache-oblivious алгоритмы. Возможные компиляторные оптимизации.
Параллелизм на многоядерных CPU. Кеши и поддержка согласованности памяти. False sharing.
Низкоуровневые примитивы межконтекстного взаимодействия: атомарные операции, семафоры, futex. Поддержка на уровне языка Си и особенности компиляторной поддержки.
OpenMP. Классическая функциональность: параллелизм на уровне нитей. Анализ и трансляция OpenMP в компиляторе.
Анализ производительности на CPU. Основные инструменты разработчика: valgrind (cachegrind), perf, ocperf. Использование компиляторных возможностей.
Параллелизм на графических акселераторах. Явные интерфейсы программирования: CUDA, OpenCL. Инструменты разработки в CUDA.
Оптимизация в CUDA. Оптимизация доступа к памяти. Компромисс между ILP, регистровым давлением, TLP. Warp-synchronous programming. Сравнение с подходами, применяемыми на CPU.
OpenACC и OpenMP 4.0: параллелизм для акселераторов. Подходы к трансляции кода в различных реализациях. Специализация OpenMP-кода для акселераторов.

Элементы контроля

Контрольная работа (КР)
Домашнее задание (ДЗ)
Экзамен (Э)

Промежуточная аттестация

Промежуточная аттестация (2 модуль)
0.3 * Домашнее задание (ДЗ) + 0.3 * Контрольная работа (КР) + 0.4 * Экзамен (Э)

Программа дисциплины