变分推断的进展

Nov, 2017

Advances in Variational Inference

Cheng Zhang, Judith Butepage, Hedvig Kjellstrom, Stephan Mandt

TL;DR本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Abstract

Many modern unsupervised or semi-supervised machine learning algorithms rely on bayesian probabilistic models. These models are usually intractable and thus require approximate inference. →

variational inference bayesian probabilistic models approximate inference scalable vi amortized vi

发现论文，激发创造

变分推断：统计学家综述

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

Jan, 2016

深度贝叶斯模型的改进变分推理

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

提升变分推断

提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

变分推理，高斯混合模型，贝叶斯机器学习

通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

Jun, 2024

随机变分推断

本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

Jun, 2012

提升变分推断：优化视角

本文研究了基于 boosting 的变分推断算法在优化视角下的收敛性质及其与经典 Frank-Wolfe 算法之间的联系，提出了收敛的充分条件，明确了算法的收敛速率和简化方法，并在概率模型和理论特性之间架起了桥梁。

Aug, 2017

操作符变分推理

本文介绍以变分推断为基础的优化算法，并使用函数方法设计变分目标，包括 Langevin-Stein 算子变分目标。该算法不仅能够处理大数据问题还可以快速逼近后验分布。

Oct, 2016

离散选择大规模模型的变分推断

本文介绍了利用变分方法进行离散选择模型贝叶斯推断的过程，并且在大规模数据集上，相比马尔可夫蒙特卡罗方法，可以在更小的计算成本下达到相当的精度。

Dec, 2007

GARCH 家族模型的变分推理

通过大规模实验，我们展示了变分推断是 GARCH-like 模型中贝叶斯学习的一种可靠且具有竞争力的方法，证明了它是一种吸引人的、相当精确且可行的替代蒙特卡洛采样的方法。

Oct, 2023

关于主题模型变分推断的一些可证明正确的案例

本文针对潜变量模型中的主题模型，首次给出了变分推理算法收敛于全局最优解的分析，也证明了在主题 - 词矩阵和主题先验的自然假设下，变分推理可有效学习主题模型的最优参数。

Mar, 2015