利用高斯过程扩展自动化统计学:可扩展结构发现
该论文研究了高斯过程模型的能力和局限性,提出了一种具有可扩展性和统计效率的推理方法,探索了灵活的内核和用于学习超参数的客观函数。通过实验结果表明,这种方法在标准 MNIST 数据集上的性能优于所有之前报告的 GP 方法,并在 MNIST8M 数据集上突破了 1%的误差率,同时展示了它在分类问题中的可扩展性。总的来说,该方法在内核方法和 GP 模型方面取得了重大突破,缩小了深度学习方法和内核机器之间的差距。
Oct, 2016
提出一种可扩展的高斯过程模型,用于确定和表征平滑多维变化点,并自动学习表达协方差结构中的变化。通过 Random Kitchen Sink 特征来灵活地定义变化表面,结合表现力强的谱混合核来捕获复杂的统计结构,最后通过新颖的加性非可分离核方法,可以将模型扩展到大型数据集。我们在数值和实际数据上演示了该模型,包括一个大型时空疾病数据集,在其中确定了先前未知的空间和时间异质性变化。
Nov, 2015
本文利用行为学实验结果设计核学习框架,逆向工程人类学习者在许多函数外推问题中的归纳偏见,通过学习得到的内核在人类用户外推中展示出一定的心理学见解和效果,并探究了人类和高斯过程的函数学习过程中奥卡姆剃刀的应用。
Oct, 2015
本文介绍了通过变分诱导点框架对高斯过程分类模型进行缩放,超越基准测试数据的最新水平。重要的是,在实验中展示了该变分方法可以用于具有数百万数据点的大数据集的分类。
Nov, 2014
本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法,主要包括稀疏逼近、混合专家模型和产品专家模型,并探讨了这些模型在数据规模大的情况下的应用前景。
Jul, 2018
本文介绍了一种高效、可扩展的高斯过程(MSGP)的框架及其初步结果,该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似,将 GP 的时间复杂度降至 O (n),测试点的预测时间复杂度降至 O (1)。
Nov, 2015
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
本文提出了一种新的可扩展的变分高斯过程近似方法,采用傅里叶级数将核作为正交核的和进行分解,利用这种正交性使众多诱导点具有低计算成本,能在回归和分类问题中利用输入空间的对称性,明显优于标准变分方法,并在 CIFAR-10 中取得与纯 GP 模型的最新成果。
Jun, 2021