ICMLNov, 2020

跨领域深度高斯过程

PDF
TL;DR本文提出了扩展 Inter-domain Gaussian processes 的 Inter-domain Deep Gaussian Processes 方法，基于现有的近似推理方法使用 inter-domain features 实现简单可扩展的近似推理。我们对各种回归任务的表现进行了评估，并展示了它在具有全局结构和高度不稳定性的大规模实际数据集上优于浅层 Inter-domain Gaussian processes 和传统深度高斯过程。
inter-domain gaussian processesdeep gaussian processesapproximate inferencenon-stationary dataregression tasks
发现论文，激发创造
  • 跨域和多输出高斯过程的框架

    该论文提出了一个适用于大规模问题的高斯过程的数学和软件框架，该框架结合了跨域近似和多输出，能够简化使用 GPs 创建深层模型的过程。

    Mar, 2020

  • 可解释的深高斯过程与矩

    提出了一种可解释的 DGPs 模型，通过计算精确矩来近似 DGPs，确定了某些 DGP 分布的重尾性质，并识别了 DGP 的表达能力参数，发现了 DGP 组合的非本地和非平稳相关性，并提供了推导二、三或无限层的有效核的通用方法。

    May, 2019

  • 深高斯过程的双随机变分推断

    本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

    May, 2017

  • 卷积核深高斯过程

    本论文针对深度高斯过程在计算机视觉领域应用时存在的挑战（例如卷积结构），提出了一种基于卷积核的卷积 DGP 模型（CDGP）来解决该问题，并在多类图像分类任务中表现出优越性能。

    Jun, 2018

  • 深高斯过程的随机特征扩展

    本文提出使用随机变分推断基于随机特征扩展来训练 Deep Gaussian Process 模型的方法，该方法在多个数据集上均具有可扩展性和良好的性能，实现了量化不确定性的精确估计。

    Oct, 2016

  • 球面感应特征用于正交分解高斯过程

    本篇论文着重于解决高斯过程 (GPs) 对于深度神经网络 (NNs) 所缺乏的问题，通过介绍球形跨域特征，将处于 NNs 隐藏单元中的感应变量作为新型跨域变分 GPs 的载体，从而提高 GP 拟合的灵活性、数据适应性以及可伸缩性。实验结果表明，该方法的有效性得到了多个基准数据集的验证。

    Apr, 2023

  • 使用近似期望传播进行回归的深高斯过程

    本文研发了一种新的近似贝叶斯学习方案，使深高斯过程能够应用于中大规模回归问题，该方法通过近似期望传播程序和概率反向传播算法实现，对于 11 个现实世界数据集的非线性回归评估表明，它始终优于 GP 回归，几乎总是优于 Bayesian 神经网络的基于状态和采样的近似推理方法。

    Feb, 2016

  • 深度结构高斯过程混合模型

    本文提出了一种称为深层结构高斯过程混合专家的随机过程模型，该模型不仅可以进行确切的后验推断，而且具有吸引人的计算和内存成本，并且在作为高斯过程近似时可以比以前的近似方法更一致地捕捉预测不确定性。在各种实验中，我们展示了这种方法的低近似误差和竞争优势。

    Oct, 2019

  • 深度高斯过程中的组合不确定性

    本文介绍了高斯过程和深度高斯过程，并探讨了用于近似贝叶斯推断的不同变分推断模型及其优点和局限性。

    Sep, 2019

  • 具有球谐特征的稀疏高斯过程

    该研究提出了一种新的互域变分高斯过程模型，使用球谐表示法将数据映射到单位超球面上，并采用类似变分傅里叶特征的推理方案，这使得模型能够在保持最先进准确度的同时，比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型，并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。

    Jun, 2020