本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。

Jul, 2011

本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。

Mar, 2017

本文提出了随机梯度线性化变分推断，并通过三个应用案例展示了在收敛速度和KL散度方面相对于传统梯度方法的明显优势。

Mar, 2018

提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。

Jun, 2018

将Dropout重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了Quasi-KL（QKL）差异作为新的近似推理目标。

Jul, 2018

本文探讨变分推断问题中使用重新参数化技巧的效果，通过理论分析和实验展示了其优越性，重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。

Sep, 2018

该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

Dec, 2019

本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

本文研究了线性回归中带Dropout正则化的随机梯度下降（SGD）迭代的渐近理论，填补了现有文献对此问题的理论空白。通过建立几何矩收缩性（GMC），作者展示了Dropout递归函数存在唯一的平稳分布，并提出了针对ASGD Dropout的在线协方差矩阵估计方法，为后续递归推断提供了高效的计算框架。实验结果表明，该方法在大样本情况下的置信区间几乎达到了名义覆盖概率。

Sep, 2024