Бакалавриат 2023/2024

Основы тензорных вычислений

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Пешехонов Иван Дмитриевич, Рахуба Максим Владимирович

Язык: русский

Кредиты: 5

Контактные часы: 56

Программа дисциплины

Аннотация

Наряду с матрицами многомерные массивы являются фундаментальной структурой данных, естественно возникающей в широком круге приложений от машинного обучения до квантовой механики. Одной из серьезных проблем при работе с многомерными массивами является экспоненциальный рост количества элементов с числом измерений массива – проявление так называемого "проклятия размерности". В результате массивы с относительно небольшим числом измерений могут не помещаться даже во внешнюю память суперкомпьютеров. В этом курсе мы научимся эффективно работать с многомерными массивами и познакомимся с одним из современных подходов к борьбе с “проклятьем размерности” – тензорными разложениями. Будут рассмотрены как классические теоретические результаты и алгоритмы тензорных вычислений, так и современные подходы. В домашних заданиях особое внимание будет уделено приложениям тензорных вычислений с использованием современных библиотек. В качестве пререквизита рекомендуется прохождение курса “Основы матричных вычислений” или других курсов по прикладной линейной алгебре.

Цель освоения дисциплины

• Дать теоретические и практические основы тензорных вычислений, познакомить с областью их применения в задачах анализа данных и научных вычислениях

Планируемые результаты обучения

• Знать основные пакеты программ для работы с тензорами
• Знать основные тензорные разложения и область их применения
• Уметь эффективно решать линейные системы и задачи на собственные значения с малоранговой тензорной структурой

Содержание учебной дисциплины

• Введение
• Вычисления
• Тензорные разложения
• Алгоритмы для тензорных разложений
• Тензорные сети и способы работы с ними
• Тензоры в машинном обучении

Элементы контроля

• ДЗ_Теоретические
  средняя оценка за теоретические домашние задания
• Бонусные задачи в ДЗ
  средняя оценка за бонусные задачи в ДЗ
• Коллоквиум
  оценка за устный коллоквиум (проводится в начале 2-го модуля)
• ДЗ_Практические
  средняя оценка за практические домашние задания
• Самостоятельные работы (ПР)
  средняя оценка за самостоятельные работы на семинарах
• Письменный экзамен
  Экзамен проходи в письменном формате, содержит теоретические вопросы и задачи.

Промежуточная аттестация

• 2023/2024 учебный год 2 модуль
  Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э)) ДЗ_Теор –– средняя оценка за теоретические домашние задания ДЗ_Практ –– средняя оценка за практические домашние задания Б –– средняя оценка за бонусные задачи в ДЗ ПР — средняя оценка за самостоятельные работы на семинарах К –– оценка за устный коллоквиум (проводится в начале 2-го модуля) Э –– письменный экзамен.

Список литературы

Рекомендуемая основная литература

• Cichocki, A., Lee, N., Oseledets, I. V., Phan, A.-H., Zhao, Q., & Mandic, D. (2016). Low-Rank Tensor Networks for Dimensionality Reduction and Large-Scale Optimization Problems: Perspectives and Challenges PART 1. https://doi.org/10.1561/2200000059

Рекомендуемая дополнительная литература

• Wolfgang Hackbusch. (2012). Tensor Spaces and Numerical Tensor Calculus. Springer.
• Методы численного анализа : учеб. пособие для вузов, Тыртышников, Е. Е., 2007

Авторы

• Рахуба Максим Владимирович
• Высоцкий Лев Игоревич