本研究提出了一种新算法，基于随机梯度的变分程序来进行概率编程中的近似推理，特别适用于高度结构化的分布。我们展示了如何自动推导平均场概率程序并优化它们，并证明我们的方法比其他算法提高了推理效率。

Jan, 2013

文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

Apr, 2014

本研究考虑在对数超模型中进行近似贝叶斯推断，提出一种基于变分方法的L-FIELD方法可以更加高效地解决这个问题。进一步分析了L-FIELD的性质，并在图像分割中的应用证实了其可扩展性和高质量性能。

Feb, 2015

提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

Oct, 2015

该研究介绍了一种用加权混合分布取代Mean Field完全分解的方法，通过这种方式，可以更好地逼近真后验概率，进而提高一些计算机视觉算法的性能。

Nov, 2016

本论文提出了一种基于Wasserstein空间梯度流、Fokker-Planck方程和扩散过程的分析mean field variational inference (MFVI)算法的框架，旨在解决MFVI算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

Oct, 2022

研究了一种基于准随机序列的高维场均值变分推断的积分方法和相应的稀疏化方法，以及在深度学习算法中应用的数值结果。

Jan, 2023

在高维度的贝叶斯线性模型中，通过最小化TAP自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过Approximate Message Passing (AMP)算法找到，从而在局部邻域内线性收敛到最小值。

Nov, 2023

有限维多面体子集、Wasserstein空间、均场变分推断、最小化算法和KL散度。

Dec, 2023

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024