NIPSMay, 2019

可解释的深高斯过程与矩

PDF
TL;DR提出了一种可解释的 DGPs 模型，通过计算精确矩来近似 DGPs，确定了某些 DGP 分布的重尾性质，并识别了 DGP 的表达能力参数，发现了 DGP 组合的非本地和非平稳相关性，并提供了推导二、三或无限层的有效核的通用方法。
deep gaussian processesneural networksgaussian processesexpressivityinterpretability
发现论文，激发创造
  • 深度高斯过程中的组合不确定性

    本文介绍了高斯过程和深度高斯过程，并探讨了用于近似贝叶斯推断的不同变分推断模型及其优点和局限性。

    Sep, 2019

  • 深高斯过程的随机特征扩展

    本文提出使用随机变分推断基于随机特征扩展来训练 Deep Gaussian Process 模型的方法，该方法在多个数据集上均具有可扩展性和良好的性能，实现了量化不确定性的精确估计。

    Oct, 2016

  • 深高斯过程的双随机变分推断

    本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

    May, 2017

  • 近似推断将深度网络转化为高斯过程

    本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

    Jun, 2019

  • 卷积核深高斯过程

    本论文针对深度高斯过程在计算机视觉领域应用时存在的挑战（例如卷积结构），提出了一种基于卷积核的卷积 DGP 模型（CDGP）来解决该问题，并在多类图像分类任务中表现出优越性能。

    Jun, 2018

  • 跨领域深度高斯过程

    本文提出了扩展 Inter-domain Gaussian processes 的 Inter-domain Deep Gaussian Processes 方法，基于现有的近似推理方法使用 inter-domain features 实现简单可扩展的近似推理。我们对各种回归任务的表现进行了评估，并展示了它在具有全局结构和高度不稳定性的大规模实际数据集上优于浅层 Inter-domain Gaussian processes 和传统深度高斯过程。

    Nov, 2020

  • 使用近似期望传播进行回归的深高斯过程

    本文研发了一种新的近似贝叶斯学习方案，使深高斯过程能够应用于中大规模回归问题，该方法通过近似期望传播程序和概率反向传播算法实现，对于 11 个现实世界数据集的非线性回归评估表明，它始终优于 GP 回归，几乎总是优于 Bayesian 神经网络的基于状态和采样的近似推理方法。

    Feb, 2016

  • 浅层和深层高斯过程

    该研究提出了一种新的方法，称为 Thin and Deep GP (TDGP)，它通过定义原始输入数据的局部线性变换来保持潜在嵌入的概念，并保留核函数的长度尺度的解释性。与先前的方法不同，TDGP 引入的流形可避免路径学习中的特殊病理问题，并且在学习低维表示方面表现出色。在理论和实验结果中证明了 TDGP 在发现输入数据的低维流形、增加层数时的良好性能以及在标准基准数据集上的表现。

    Oct, 2023

  • 使用重要性加权变分推断的深高斯过程

    本文提出了一种基于 Deep Gaussian processes（DGPs）的新型重要性加权目标函数，通过引入含噪变量作为潜在协变量，相比于经典的变分推断，可以在提高准确性的同时节省计算量，并且在更深层次的模型中表现良好。

    May, 2019

  • 深度结构高斯过程混合模型

    本文提出了一种称为深层结构高斯过程混合专家的随机过程模型，该模型不仅可以进行确切的后验推断，而且具有吸引人的计算和内存成本，并且在作为高斯过程近似时可以比以前的近似方法更一致地捕捉预测不确定性。在各种实验中，我们展示了这种方法的低近似误差和竞争优势。

    Oct, 2019