本文提出了一种基于近端梯度的方法，用于优化变分目标，该方法天然可并行化且易于实施，证明了其收敛性，并且实践证明其收敛速度更快，并且通常能找到更好的最优解，此外我们的方法对参数选择的敏感性更低。

Nov, 2015

本文针对平均场算法在应对不可精确推断的图模型中的广泛使用进行研究，并将该算法转化为具有多层结构和绑定权重的前向网络以进行一些自然的扩展，包括权重不绑定和 MFNs 作为推理工具和判别模型，最终的实验结果表明，在作为判别模型时，MFNs 可以比平均场算法更有效地进行推理并具有更好的性能。

Oct, 2014

该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中 KL 散度过度正则化的洞见。

Jun, 2021

本文提出了一种新的单模型方法，通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题，同时可以进行闭式近似推断。实验证明，该方法在标准不确定性估计任务中性能竞争力强，并且在超出分布检测方面优于许多基线方法。

Jun, 2020

本文介绍了一种基于 Markov 过程的 mean field variational approximation 方法，用于近似描述 Continuous-time Bayesian networks 中的概率分布，并提供了较好的推断和学习效果。

May, 2012

本论文提出了一种基于 Wasserstein 空间梯度流、Fokker-Planck 方程和扩散过程的分析 mean field variational inference (MFVI) 算法的框架，旨在解决 MFVI 算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

Oct, 2022

在这篇论文中，我们讨论了一种广义均场理论，它使用可追踪分布的丰富集合来近似表示一类难以处理的分布，并通过分布空间上的约束优化来实现。我们还介绍了一类广义均场算法，用于复杂的指数族模型的近似推断，它将复杂模型分解成一组不相交变量簇，并使用一组规范的定点方程来迭代地更新参数，找到保留每个簇内原始依赖结构的局部最优参数，因此完全分解了整体推断问题。通过实验证明，我们比较了不同可追踪族群（不同粒度的簇）对推理质量的影响，并将其与 BP 算法在几个标准模型上进行了比较。还讨论了高阶 MF 逼近的可能扩展。

Oct, 2012

本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

Feb, 2019

使用潜在变量表示的均值场变分贝叶斯方法应用于支持向量机，能克服传统 SVM 的许多缺点，包括自动惩罚参数选择，处理相关样本、缺失数据和变量选择的能力，并在模拟和真实数据集上展示了我们的方法在非传统情况下的可扩展性和计算效率高于传统的 SVM 方法。

May, 2013

通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

Feb, 2020