Feb, 2016

使用近似期望传播进行回归的深高斯过程

HTML
PDF
TL;DR本文研发了一种新的近似贝叶斯学习方案，使深高斯过程能够应用于中大规模回归问题，该方法通过近似期望传播程序和概率反向传播算法实现，对于11个现实世界数据集的非线性回归评估表明，它始终优于GP回归，几乎总是优于Bayesian神经网络的基于状态和采样的近似推理方法。
发现论文，激发创造
  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • 高斯过程回归近似方法评估框架

    本文通过对4个预测问题进行4种不同近似算法的实证研究，考察预测质量与计算时间之间的关系，并将实验代码共享，以鼓励未来的比较研究。

    May, 2012

  • 使用张量列车分解实现数十亿个诱导输入的可扩展高斯过程

    利用张量列车分解为变分参数的高斯过程建模方法，实现具有数十亿个输入点培训和端到端训练的深度神经网络和高斯过程回归/分类器的最新结果优化。

    Oct, 2017

  • 深度神经网络作为高斯过程

    本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在MNIST和CIFAR-10上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和GP预测的不确定性分别增加，而有限宽度训练网络越接近GP，测试性能越好，GP预测通常优于有限宽度网络的预测，最后将这些GP的性能与随机神经网络的信号传播理论相联系。

    Nov, 2017

  • 使用随机梯度哈密顿蒙特卡罗推断深高斯过程

    本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

    Jun, 2018

  • 使用重要性加权变分推断的深高斯过程

    本文提出了一种基于Deep Gaussian processes（DGPs）的新型重要性加权目标函数，通过引入含噪变量作为潜在协变量，相比于经典的变分推断，可以在提高准确性的同时节省计算量，并且在更深层次的模型中表现良好。

    May, 2019

  • 近似推断将深度网络转化为高斯过程

    本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

    Jun, 2019

  • 深度结构高斯过程混合模型

    本文提出了一种称为深层结构高斯过程混合专家的随机过程模型，该模型不仅可以进行确切的后验推断，而且具有吸引人的计算和内存成本，并且在作为高斯过程近似时可以比以前的近似方法更一致地捕捉预测不确定性。在各种实验中，我们展示了这种方法的低近似误差和竞争优势。

    Oct, 2019

  • 高斯过程全贝叶斯回归的近似推理

    本文介绍了高斯过程模型中两种推断超参数后验分布的方法，一种是哈密顿蒙特卡罗（HMC）求解采样近似，另一种是变分推断（VI），其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布，该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。

    Dec, 2019

  • 跨领域深度高斯过程

    本文提出了扩展Inter-domain Gaussian processes的Inter-domain Deep Gaussian Processes方法，基于现有的近似推理方法使用inter-domain features实现简单可扩展的近似推理。我们对各种回归任务的表现进行了评估，并展示了它在具有全局结构和高度不稳定性的大规模实际数据集上优于浅层Inter-domain Gaussian processes和传统深度高斯过程。

    Nov, 2020