潜在高斯过程模型的Vecchia-Laplace近似的迭代方法
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
介绍了一种新的大规模高斯过程的近似方法——高斯过程随机场,在合理精度和计算代价的前提下实现了潜在变量建模和超参数调节,并在合成空间数据和地震事件定位的真实世界应用中展示了其有效性。
Oct, 2015
本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法,主要包括稀疏逼近、混合专家模型和产品专家模型,并探讨了这些模型在数据规模大的情况下的应用前景。
Jul, 2018
研究了一种加速多输出高斯过程推理和学习的方法,利用数据的充分统计量实现在正交基中的线性缩放,从而实现在实践中线性缩放,同时不会牺牲重要的表现力或需要近似。
Nov, 2019
本文介绍了高斯过程模型中两种推断超参数后验分布的方法,一种是哈密顿蒙特卡罗(HMC)求解采样近似,另一种是变分推断(VI),其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布,该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。
Dec, 2019
研究稀疏逼近方法在进行核方法和高斯过程(GPs)的大规模数据方面的连接,着重于Nyström方法和Sparse Variational Gaussian Processes (SVGP)。在回归问题的上下文中,提供一种RKHS解释SVGP逼近,并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数,揭示了两种方法之间的代数等价性的来源。此外,研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。
Jun, 2021
本文针对加性Matern高斯过程,提出基于后向逼近算法的计算方法,计算后验均值、方差、似然函数和梯度的复杂性从O(n^3)降低到O(nlogn),并应用于贝叶斯优化中,提出了后验更新、超参数学习、习得函数和其梯度的有效算法。
Apr, 2023
提出一种新的方法,用于一般化贝叶斯非线性潜在变量建模,通过使用随机傅里叶特征来逼近高斯过程映射中的核函数,从而将 GPLVM 推广至泊松、负二项和多项分布等情况,并通过随机特征潜变量模型(RFLVM)对广泛的应用进行评估,结果表明该算法在复杂数据集的潜在结构和数据填充方面表现出着与现有先进算法相当的实用性。
Jun, 2023
拉普拉斯方法是一种近似目标密度函数的高斯分布方法,通过选择黎曼几何进行变换,可以提供更丰富的近似函数族,具有计算效率高的优点,并且通过引入两个可选的变种提高了无限数据极限下的准确性。
Nov, 2023
通过引入基于拉普拉斯近似的多种度量标准,我们解决了之前在高斯过程模型的模型选择中存在的性能和运行时间问题,并且在不损失计算速度的情况下,我们的度量标准在质量上与黄金标准动态嵌套采样相当,允许更快速、高质量地对高斯过程模型进行模型选择。
Mar, 2024