深高斯过程的隐式后验变分推断

Oct, 2019

Implicit Posterior Variational Inference for Deep Gaussian Processes

Haibin Yu, Yizhou Chen, Zhongxiang Dai, Kian Hsiang Low, Patrick Jaillet

TL;DR本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型，能够理想地恢复无偏后验信念，并仍保持时间效率高，该框架通过将 DGP 推断问题建模为一个两个玩家博弈，在该博弈平衡点处获得无偏后验信念，并设计最佳响应动态算法来寻找博弈均衡点，得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。

Abstract

A multi-layer deep Gaussian process (DGP) model is a hierarchical composition of GP models with a greater expressive power. Exact DGP inference is intractable, which has motivated the recent development of deterministic and stochastic approximation methods. Unfortunately, the deterministic approximation methods yield a biased posterior belief while the stoch

multi-layer deep gaussian process model posterior variational inference unbiased posterior belief best-response dynamics algorithm state-of-the-art approximation methods

发现论文，激发创造

深高斯过程的双随机变分推断

本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

May, 2017

深度变分隐式进程

提出了 Deep Variational Implicit process (DVIP) 作为 Implicit processes (IPs) 的一种多层泛化方法，并通过大规模数据集上的回归和分类实验展示其可扩展性及性能优越于之前的 IP-based 方法和深层高斯过程。

Jun, 2022

使用随机梯度哈密顿蒙特卡罗推断深高斯过程

本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

Jun, 2018

变分高斯过程

本文提出了一种变分高斯过程 (VGP) 方法，该方法是一种贝叶斯非参数变分方法，利用随机非线性映射生成近似后验样本，适应于复杂的后验分布，且通过学习随机映射的分布来使之适应于不同的复杂度，该方法在无监督学习中实现了最新的最佳结果。

Nov, 2015

鲁棒性深高斯过程

本报告深入概述了 GVI 在 DGPs 中带来的影响和创新，特别是信息几何视角下的模型错误规范性的稳健性和不确定性量化的合理替代方案等修正措施对 DGPs 的改进潜力，并通过相应的实证结果予以证明。

Apr, 2019

使用重要性加权变分推断的深高斯过程

本文提出了一种基于 Deep Gaussian processes（DGPs）的新型重要性加权目标函数，通过引入含噪变量作为潜在协变量，相比于经典的变分推断，可以在提高准确性的同时节省计算量，并且在更深层次的模型中表现良好。

May, 2019

深度高斯过程中的组合不确定性

本文介绍了高斯过程和深度高斯过程，并探讨了用于近似贝叶斯推断的不同变分推断模型及其优点和局限性。

Sep, 2019

深高斯过程

本文介绍了深度高斯过程模型，该模型可用于稀少数据的拟合，以及通过贝叶斯方法进行模型选择。

Nov, 2012

深度贝叶斯模型的改进变分推理

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

可解释的深高斯过程与矩

提出了一种可解释的 DGPs 模型，通过计算精确矩来近似 DGPs，确定了某些 DGP 分布的重尾性质，并识别了 DGP 的表达能力参数，发现了 DGP 组合的非本地和非平稳相关性，并提供了推导二、三或无限层的有效核的通用方法。

May, 2019