自动编码变分贝叶斯

Dec, 2013

Auto-Encoding Variational Bayes

Diederik P Kingma, Max Welling

TL;DR本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Abstract

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning algorithm that scales to large

probabilistic models latent variables stochastic variational inference posterior distribution experimental results

发现论文，激发创造

随机变分推断

本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

Jun, 2012

变分自编码深度高斯过程

通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

Nov, 2015

学习如何解决贝叶斯反问题：一种分摊变分推断方法

本文提出了一种基于深度神经网络参数化的先验分布方法，通过学习贝叶斯逆映射实现了实时推理。经过基准问题的验证，该方法的后验估计与马尔可夫链蒙特卡罗方法的对应结果一致，并在前向传递神经网络的代价下提供了观测的后验参数。

May, 2023

变分贝叶斯推断潜变量模型的参数和结构

本文提出了变分贝叶斯 (Variational Bayes) 框架，通过解决概率图模型中潜在变量及其结构计算的问题，避免了因参数而导致过拟合和子最优泛化表现的通常方法，同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。

Jan, 2013

变分推断的进展

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

大规模贝叶斯压缩感知中的高效变分推断

本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。

Jul, 2011

变分预测

本文提出了一种名为可变预测的方法，该方法可通过使用可变约束直接学习预测分布的可变近似，避免了后验边缘化的计算成本，并在一个玩具实例上演示了该方法。

Jul, 2023

非对称变分自编码器

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

用随机梯度变分贝叶斯近似伽马分布

本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

Sep, 2015

状态空间模型的黑箱变分推断

通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

Nov, 2015