• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2020/2021

Нейробайесовские методы в машинном обучении

Статус: Курс по выбору (Науки о данных)
Направление: 01.04.02. Прикладная математика и информатика
Когда читается: 1-й курс, 3, 4 модуль
Формат изучения: без онлайн-курса
Прогр. обучения: Науки о данных
Язык: русский
Кредиты: 4
Контактные часы: 48

Программа дисциплины

Аннотация

Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состязающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Цель освоения дисциплины

Цель освоения дисциплины

  • Изучение байесовских методов в глубинном обучении.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать различные вариации методов байесовского вывода
  • Уметь анализировать теоретические свойства рассматриваемых алгоритмов машинного обучения
  • Уметь выбирать и обучать генеративные модели из семейства VAE
  • Уметь выбирать и обучать генеративные модели из семейства GAN
  • Уметь осуществлять сжатие нейронных сетей на основе байесовского подхода
  • Владеть эвристиками для ускорения работы нейробайесовских алгоритмов и для снижения дисперсии стохастических градиентов
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Стохастический вариационный вывод
    "Стохастический вариационный вывод. Применение SVI на примере масштабируемых те-матических моделей. Дважды стохастический вариационный вывод. Дисперсия стохастических градиентов в примерах"
  • Вариационный автокодировщик
    "Вариационный автокодировщик, нормализующие потоки для вариационного вывода. Репараметризация, IWAE"
  • Байесовские нейронные сети
    "Байесовские нейронные сети Байесовское сжатие нейронных сетей. Тернарные сети, структурный байесовский прунинг. Методы снижения дисперсии в моделях со скрытыми переменными. Обобщенная репараметризация, REBAR, RELAX."
  • GAN
    "Генеративные состязательные сети. Оценка отношения плотностей распределений, применение на примере \alpha-GAN. f-GAN"
Элементы контроля

Элементы контроля

  • неблокирующий Домашняя работа
  • неблокирующий Домашняя работа
  • неблокирующий Экзамен
    Оценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля. Экзамен не проводится.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.3 * Домашняя работа + 0.3 * Домашняя работа + 0.4 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Геворкян Гурген Аркадиевич. (2017). Нейронные сети: графический интерфейс пользователя в Matlab. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.4576DF4C
  • Дифференциальные уравнения и вариационное исчисление : Учебник для вузов, Эльсгольц, Л. Э., 2000
  • Нейронные сети, генетические алгоритмы и нечеткие системы, Рутковская, Д., 2008

Рекомендуемая дополнительная литература

  • U. Rabtsau N., & В. Рябцев Н. (2015). Stochastic Approach for Evaluation of Reliability and Residual Life of Transport Structures ; Стохастический Подход К Оценке Надежности И Остаточного Ресурса Транспортных Сооружений. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.74B384A1
  • Бутусов Олег Борисович, Butusov Oleg Borisovich, Джулай Анна Алексеевна, & Dzhulai Anna Alekseevna. (2018). Применение методов визуального моделирования и программирования в образовательном процессе по дисциплине «Нейронные сети». Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E28243B