潜在高斯过程回归
本文提出了一种新的回归框架,Gaussian process regression networks (GPRN),它结合了贝叶斯神经网络的结构特性和高斯过程的非参数灵活性,可以适应多个响应变量之间的输入相关信号和噪声相关性,具有输入相关的长度尺度和振幅以及重尾进行预测分布的特点,并且提出了该模型的有效的马尔可夫链蒙特卡罗和变分贝叶斯推断过程。本文应用 GPRN 提出了多输出回归和多元波动性模型,展示了其在基准数据集上明显优于八个流行的多任务高斯过程模型和三种多元波动性模型的性能,其中包括一个 1000 维基因表达数据集。
Oct, 2011
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
此研究提出了一种贝叶斯非参数方法,用于信号分离,其中信号可以根据潜在变量而变化。我们的关键性贡献是将高斯过程潜变量模型(GPLVM)扩展为包括每个数据点由多个纯组分信号的加权和构成的情况,并且可以观察多个输入位置。我们的框架允许使用各种关于每个观测的权重的先验知识。这种灵活性使我们能够表示多种用例,包括估计分数构成的加权和为一约束条件和用于分类的二值权重。我们的贡献特别适用于光谱学,其中不同的条件可能导致基础纯组分信号从样本到样本变化。为了证明其在光谱学和其他领域的适用性,我们考虑了几个应用:具有不同温度的近红外光谱数据集,用于识别管道流动配置的模拟数据集,以及通过反射确定岩石类型的数据集。
Feb, 2024
本文提出了一种贝叶斯方法,通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
该研究介绍了一种新型模型,称为潜在变量多输出高斯过程 (LVMOGP),该模型可以捕捉多种条件的潜在信息,实现在测试时对新条件的有效推广,并提出了高效的变分推断方法,该方法的计算复杂度低于稀疏高斯过程。研究表明,在多个任务中,LVMOGP 在合成和真实数据上表现优异,并比相关的高斯过程方法优异。
May, 2017
本教程旨在提供对高斯过程回归的直观理解。首先解释了构建高斯过程的基本概念,包括多元正态分布,核函数,非参数模型以及联合和条件概率。然后简要描述了高斯过程回归以及标准高斯过程回归算法的实现。除标准高斯过程回归外,还介绍了实现最先进的高斯过程算法的软件包。本教程以易懂的方式编写,可确保没有机器学习背景的读者能够充分理解高斯过程回归的基础知识。
Sep, 2020
本文提出了使用高斯过程模型来进行非参数回归,分类等任务,通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样,可以发现数据的高级特性并实现预测响应所需输入的相关性。
Jan, 1997
本文介绍用高斯过程进行非线性估计问题的解决,讨论了其中的一些重要方面和扩展,包括递归和自适应算法处理非平稳、低复杂度解决方案、非高斯噪声模型和分类场景,最后提供了几个无线数字通信的应用实例。
Mar, 2013
本文综述了在地球卫星观测中,机器学习算法(尤其是高斯过程回归)在生物物理参数估计方面的应用,以及如何利用前向模型改进预测和理解物理关系。最后,本文提出了三种高斯过程模型,分别为联合高斯过程模型、潜在力模型和自动高斯过程仿真器,通过植被监测和大气建模的实例验证了它们的性能。
Dec, 2020
我们提出了一种新的非参数建模方法 LDGD,利用高斯过程(GP)将高维数据映射到潜在的低维流形,通过推断潜变量来有效捕捉数据中的不确定性,提高了模型的预测准确性和鲁棒性。LDGD 不仅能准确地推断流形,而且在预测标签方面的准确性也超过了现有的方法。我们还通过引入诱导点来降低大型数据集中高斯过程(GP)的计算复杂度,实现了批处理训练,提高了处理大规模数据集的效率和可扩展性。此外,我们证明了 LDGD 在预测有限的训练数据标签方面的较高准确性,突显了它在数据可用性受限的场景中的效率和有效性。这些特点为高维数据分析中非参数建模方法的发展奠定了基础,特别是对于高维且复杂的数据领域。
Jan, 2024