Дважды стохастический вариационный вывод с полунеявными и несобственными распределениямиDoubly stochastic variational inference with semi-implicit and improper distributions

Несмотря на широкую популярность вероятностного подхода в современных применениях глубокого обучения, область применимости существующих методов вероятностного вывода остается существенно ограничена. Главной целью данной работы является расширение инструментария для работы с современными вероятностными моделями. В работе было разработано два обобщения существующих методов обучения вероятностных моделей. Первый предложенный метод позволил открыть и исследовать два новых режима работы модели вариационного дропаута – режим разреживания параметров, полезный для алгоритмов сжатия модели, и режим дисперсионных сетей, устойчивый к состязательным атакам. Второй предложенный в работе метод, Дважды Полунеявный Стохастический Вариационный Вывод (DSIVI), является универсальным методом вероятностного вывода, имеющим самую широкую область применимости среди существующих аналогов. DSIVI может быть использован для обучения и оценки вероятностных моделей, использующих полунеявные распределения, а также для ускорения работы с моделями, использующими вероятностные распределения вида смеси.