使用随机梯度哈密顿蒙特卡罗推断深高斯过程
本文介绍了一种基于双随机变分推断的方法,用于深度高斯过程模型(Deep Gaussian processes)的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务,验证了其推断模型的实用性。
May, 2017
本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型,能够理想地恢复无偏后验信念,并仍保持时间效率高,该框架通过将 DGP 推断问题建模为一个两个玩家博弈,在该博弈平衡点处获得无偏后验信念,并设计最佳响应动态算法来寻找博弈均衡点,得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。
Oct, 2019
本报告深入概述了 GVI 在 DGPs 中带来的影响和创新,特别是信息几何视角下的模型错误规范性的稳健性和不确定性量化的合理替代方案等修正措施对 DGPs 的改进潜力,并通过相应的实证结果予以证明。
Apr, 2019
本文提出了一种基于 Deep Gaussian processes(DGPs)的新型重要性加权目标函数,通过引入含噪变量作为潜在协变量,相比于经典的变分推断,可以在提高准确性的同时节省计算量,并且在更深层次的模型中表现良好。
May, 2019
本文研发了一种新的近似贝叶斯学习方案,使深高斯过程能够应用于中大规模回归问题,该方法通过近似期望传播程序和概率反向传播算法实现,对于 11 个现实世界数据集的非线性回归评估表明,它始终优于 GP 回归,几乎总是优于 Bayesian 神经网络的基于状态和采样的近似推理方法。
Feb, 2016
本文介绍了高斯过程模型中两种推断超参数后验分布的方法,一种是哈密顿蒙特卡罗(HMC)求解采样近似,另一种是变分推断(VI),其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布,该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。
Dec, 2019
本文提出了一种变分高斯过程 (VGP) 方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
本文提出使用随机变分推断基于随机特征扩展来训练 Deep Gaussian Process 模型的方法,该方法在多个数据集上均具有可扩展性和良好的性能,实现了量化不确定性的精确估计。
Oct, 2016
提出了一种可解释的 DGPs 模型,通过计算精确矩来近似 DGPs,确定了某些 DGP 分布的重尾性质,并识别了 DGP 的表达能力参数,发现了 DGP 组合的非本地和非平稳相关性,并提供了推导二、三或无限层的有效核的通用方法。
May, 2019