稀疏变分学生-t过程
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和MNIST数据集上证明了其优越性。
Feb, 2014
我们比较了学生T过程与高斯过程作为非参函数先验的可行性，证明了学生T过程可以保留高斯过程的非参数表示法和解析边缘分布以及预测分布，同时具有增强的灵活性和预测协方差，特别适用于协方差结构发生变化或需要精确预测的情况。
Feb, 2014
本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩GP逼近模型展开研究，提出了基于稀疏频谱GP模型的随机变分贝叶斯框架，该框架结合贝叶斯方法处理频率谱避免过拟合，利用本地数据提高预测性能，并利用参数化技巧使得所得到的随机梯度具有线性结构，从而提高了稀疏GP模型的性能。实验结果表明，我们的模型优于现有的SGP模型的实现方法。
Nov, 2016
本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。
Dec, 2019
研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。
Jun, 2024
本研究针对传统梯度下降方法在稀疏变分学生-t过程中的收敛速度慢与性能欠佳的问题，提出了利用信息几何中的自然梯度方法来优化变分参数的新策略。通过结合Fisher信息矩阵与贝塔函数的相互关系，该方法在数学上为使用学生t分布的自然梯度算法提供了有力支持，并且实验结果表明该方法在四个基准数据集上能显著加快收敛速度。
Aug, 2024