本文提出了扩展 Inter-domain Gaussian processes 的 Inter-domain Deep Gaussian Processes 方法,基于现有的近似推理方法使用 inter-domain features 实现简单可扩展的近似推理。我们对各种回归任务的表现进行了评估,并展示了它在具有全局结构和高度不稳定性的大规模实际数据集上优于浅层 Inter-domain Gaussian processes 和传统深度高斯过程。
Nov, 2020
高斯过程在小型、结构化和相关的数据集上提供了一种有吸引力的回归方法。然而,它们的部署受到计算成本的限制,并且缺乏如何应用于复杂的低维数据集的指导。我们提出了一个框架,用于确定高斯过程在给定问题上的适用性,并建立一个强大且明确的高斯过程模型。该框架给出了有经验的高斯过程实践者的决策指南,重点关注核函数设计和计算可扩展性选项。然后,该框架用于一个冰川海拔变化的案例研究,在测试时得到更准确的结果。
Jul, 2023
本文提出一种名为 TwinGP 的新型大规模高斯过程建模框架,采用了全局 - 局部并行的方法以及数据子集的方法来处理 GP 建模的计算瓶颈,并且将相关函数建模为全局和局部核的组合,其计算成本仅为同类 GP 建模方法的一小部分。
May, 2023
本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理,该算法针对大规模数据的情况具有可扩展性和易实现性,并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。
May, 2019
本文介绍了深度高斯过程模型,该模型可用于稀少数据的拟合,以及通过贝叶斯方法进行模型选择。
Nov, 2012
本文介绍了一种基于双随机变分推断的方法,用于深度高斯过程模型(Deep Gaussian processes)的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务,验证了其推断模型的实用性。
May, 2017
本文提出了一种新的多输出高斯过程扩展方法,用于处理异构输出,此方法使用向量值高斯过程先验来联合建模所有似然函数中的参数作为潜在函数,并以线性模型为核心的协同关系形式使用协方差函数;在假设潜在函数之间存在条件独立性并利用引导变量框架的前提下,我们能够获得易于处理的变分下界,适用于随机变分推理。最后我们在合成数据以及两个真实数据集上:人类行为研究数据集以及人口统计高维数据集中展示了该模型的性能。
May, 2018
本文研究神经网络和高斯过程之间的关系,证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时,利用高斯过程的边缘似然函数来调整神经网络的超参数,得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。
Jun, 2019
提出了一种新的贝叶斯非参数方法,以在非欧几里德域上学习平移不变的关系。 该方法可应用于机器学习问题,其中输入观测值是具有普通图形域的函数。 并将图卷积高斯过程应用于图像和三角形网格等领域,表明了其多功能性和有效性,与现有方法相比具有优势,尽管是相对简单的模型。
探讨了深度生成模型和 GFlowNet 框架之间的关系,从 Markovian 规划的角度提供了训练和推理算法统一的方式,并给出了实践验证的优化建议。
Sep, 2022