Байесовский подход в глубинном обучении: улучшение дискриминативных и генеративных моделейBayesian approach in deep learning: refinement of discriminative and generative models

В представленной работе используется формализм Байесовской статистики для улучшения существующих моделей глубокого обучения различными способами. Основываясь на технике дважды-стохастического вариационного вывода, данная работа предлагает две вероятностные модели для глубоких дискриминативных сетей. Первая модель позволяет получить структурированную разреженность сверточных нейронных сетей (CNN) и, как следствие, их ускорение. Вторая модель улучшает оценку неопределенности в задаче классификации с помощью общепринятых архитектур CNN. Также в работе рассматриваются генеративные модели глубинного обучения. Рассматривая проблему генерации с точки зрения методов Монте Карло с Марковскими цепями (MCMC), в настоящей работе предлагается алгоритм, который улучшает производительность генеративных соревновательных сетей (GAN). А именно, в работе предлагается неявный алгоритм Метрополиса-Гастингса и проводится его асимптотический анализ. Этот алгоритм можно рассматривать как адаптацию обычного алгоритма Метрополиса-Гастингса на случай когда предложное распределение задано неявно, а целевое распределение эмпирически.