深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。
Jan, 2024
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。
Oct, 2018
本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。
Jun, 2012
文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。
Apr, 2014
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。
Dec, 2013
本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。
Nov, 2020
本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。
Nov, 2017
这篇文章提出了一种名为 Walsh-Hadamard Variational Inference（WHVI）的方法，通过降低参数化和加速计算来避免过度正则化问题，从而应用于超参数化模型的近似贝叶斯推断，理论和实验结果表明，WHVI 相较于其他技术具有更快的速度和更小的模型，并且能够将核方法的进展转化为近似贝叶斯推断方面的进展。
May, 2019
本文介绍了一种基于随机优化的替代算法，可以直接优化变分下界，通过控制变量来减少随机梯度的方差，其在非共轭模型：逻辑回归和 HDP 近似中的效果得到了证明。
这篇论文介绍了一种新型的变分推断方法 —— 野生变分推断方法，其可以不需要可推导概率密度函数，而将随机梯度 Langevin 动力学 (SGLD) 作为推断网络，从而实现对 SGLD 步长的自动调整，并取得显著的改进效果。
Nov, 2016