本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。

Jul, 2011

本文介绍了一种基于随机优化的替代算法，可以直接优化变分下界，通过控制变量来减少随机梯度的方差，其在非共轭模型：逻辑回归和HDP近似中的效果得到了证明。

Jun, 2012

文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

Apr, 2014

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

Jan, 2016

本文介绍了一种使用直接优化“尺度不变的Alpha-Beta离散度”（sAB离散度）的变分逼近框架，该新目标包含了大多数使用Kullback-Leibler、Rényi或gamma离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化sAB变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。

May, 2018

研究变分贝叶斯对于稀疏高维逻辑回归中广泛使用的贝叶斯模型选择先验的均场尖峰和板VB近似，该方法可以在L2和预测损失方面为稀疏的实际结果提供最佳收敛速率，并给出了有效的先验选择方法。

Oct, 2020

本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

在高维度的贝叶斯线性模型中，通过最小化TAP自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过Approximate Message Passing (AMP)算法找到，从而在局部邻域内线性收敛到最小值。

Nov, 2023

利用稀疏表示和变分推断的学生-t进程来建模含有离群值或具有重尾行为的数据，提供了一种比高斯过程更灵活的选择，减少了计算复杂性，并在多个合成和真实数据集上展示了其有效性。

Dec, 2023

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024