理解概率稀疏高斯过程逼近
本文提出了一种新的正态分布稀疏光谱近似方法,应用变分推断将傅里叶级数的协方差函数近似建模为随机变量,从而提高了对复杂函数的拟合效果并避免了过拟合现象。
Mar, 2015
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。
Oct, 2019
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
通过使用集成的 Fourier 特征,我们提出了一种扩展性能优势的方法,适用于广泛的平稳协方差函数类,从收敛分析和实证探索中证明了在合成和实际空间回归任务中的实际加速。
Aug, 2023
高斯过程是灵活的概率回归模型,但其计算规模受限;本文提出了全尺度近似方法,通过预测过程和协方差截尾相结合,减少计算开销,并引入新的预处理器和迭代方法以提高计算速度和预测方法准确度,在实验中证明它相较于现有方法在减少计算时间的同时,具备相同的准确性;此外,也比较了确定预测过程和全尺度近似模型中诱导点的不同方法。
May, 2024
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016
我们提出了一种高效的优化算法,用于选择训练数据的子集以在高斯过程回归中引入稀疏性。该算法使用单个目标(边际似然或变分自由能)估计引入集合和超参数。其空间和时间复杂度与训练集大小呈线性关系,可以应用于离散或连续域上的大型回归问题。实证评估显示出在离散情况下的最新性能和连续情况下的竞争结果。
Oct, 2013
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012