Магистратура
2020/2021
Научно-исследовательский семинар
Статус:
Курс обязательный (Математика машинного обучения)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Кафедра технологий моделирования сложных систем
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Преподаватели:
Наумов Алексей Александрович
Прогр. обучения:
Статистическая теория обучения
Язык:
английский
Кредиты:
6
Контактные часы:
36
Course Syllabus
Abstract
This seminar is devoted to the problems of Mathematics and Computer Science and covers areas such as Mathematical Statistics, Machine Learning, Random Matrix Theory, Optimization, Machine learning etc.
Learning Objectives
- Ознакомление студентов с современным развитием статистической теории обучения, а также исследованиями, ведущимися в лаборатории стохастических алгоритмов и анализа многомерных данных
Expected Learning Outcomes
- The main objective is to study modern methods of variance reduction im MCMC. The participants will learn algorithms based on control variates using Stein' approach, approach based on Poisson equation etc. We also study algorithms ULA, MALA, HMC
- The participants will learn different methods of manifold learning (adaptive structural method, methods based on PDE etc). We also discuss upper and low bound for manifold reconstruction
- We study energy-based models, connections with MCMC.
- We study gradient-policy algorithms, variance reduction for such algorithms.
- Be able to apply computation algorithms to calculate Wasserstein distance. Apply methods for image retrieval etc.
- Способность совершенствовать и развивать свой интеллектуальный и культурный уровень
- Способность порождать принципиально новые идеи, обладание креативностью, инициативностью
- Способность публично представлять результаты профессиональной деятельности, в том числе с использованием информационных технологий
Course Contents
- Цикл семинаров по основам статистической теории обучения
- Цикл семинаров по анализу многомерных данных
- Цикл семинаров по современным направлениям развития стохастических алгоритмов
- Statistical and computational optimal transport
- Variance reduction in MCMC algorithms
- Manifold Learning
- Reinforcement learning
- GAN's
Bibliography
Recommended Core Bibliography
- Belomestny, D., Iosipoi, L., Moulines, E., Naumov, A., & Samsonov, S. (2019). Variance reduction for Markov chains with application to MCMC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1910.03643
- Gabriel Peyré, & Marco Cuturi. (2019). Computational Optimal Transport : With Applications to Data Science. Norwell, MA: Now Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2241984
- Goodfellow, I. (2016). NIPS 2016 Tutorial: Generative Adversarial Networks. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1701.00160
- Mao, H., Venkatakrishnan, S. B., Schwarzkopf, M., & Alizadeh, M. (2018). Variance Reduction for Reinforcement Learning in Input-Driven Environments. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.BAB65515
- Villani, C. (2009). Optimal Transport : Old and New. Berlin: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=261958
- Villani, C., Pajot, H., & Ollivier, Y. (2014). Optimal Transport : Theory and Applications. Cambridge: Cambridge University Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=770240
Recommended Additional Bibliography
- Li, Y. (2017). Deep Reinforcement Learning: An Overview. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.281A6E8D
- Puchkin, N., & Spokoiny, V. (2019). Structure-adaptive manifold estimation. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1906.05014