变分高斯过程

Nov, 2015

The Variational Gaussian Process

Dustin Tran, Rajesh Ranganath, David M. Blei

TL;DR本文提出了一种变分高斯过程 (VGP) 方法，该方法是一种贝叶斯非参数变分方法，利用随机非线性映射生成近似后验样本，适应于复杂的后验分布，且通过学习随机映射的分布来使之适应于不同的复杂度，该方法在无监督学习中实现了最新的最佳结果。

Abstract

variational inference is a powerful tool for approximate inference, and it has been recently applied for representation learning with deep generative models. We develop the variational gaussian process (VGP), a B

variational inference deep generative models variational gaussian process posterior distributions unsupervised learning

发现论文，激发创造

变分自编码深度高斯过程

通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

Nov, 2015

深高斯过程的双随机变分推断

本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

May, 2017

高斯过程模型输入不确定性的变分推断

本文提出了一种贝叶斯方法，通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。

Sep, 2014

大数据的高斯过程

介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。

Sep, 2013

深高斯过程的隐式后验变分推断

本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型，能够理想地恢复无偏后验信念，并仍保持时间效率高，该框架通过将 DGP 推断问题建模为一个两个玩家博弈，在该博弈平衡点处获得无偏后验信念，并设计最佳响应动态算法来寻找博弈均衡点，得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。

Oct, 2019

变分自回归高斯过程用于不断学习

本研究提出了一种名为 VAR-GPs 的方法，采用贝叶斯定理作为框架，在通过观察数据在线连续学习过程中解决后验更新的问题，并使用稀疏诱导点逼近可扩展后验概率分布，从而避免了灾难性遗忘的问题。经过实验验证，在现代连续学习基准测试中，VAR-GPs 表现优异，证明了作者们建模选择的功效。

Jun, 2020

稀疏高斯过程回归和潜变量模型的分布式变分推断

本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

Feb, 2014

高斯过程先验变分自编码器

本文研究了一种新的模型 Gaussian Process Prior Variational Autoencoder (GPPVAE)，结合了 VAEs 和具有 GP priors 关联特性的能力，解决了 VAEs 假设的潜在样本表示是独立并且同分布的假设不够强的问题，并利用协方差矩阵中的结构，介绍了一种新的随机反向传播策略，达到了分布式和低内存计算随机梯度的目的，实验证明该方法可以在两个图像数据应用程序中优于 conditional VAEs (CVAEs) 和标准 VAEs。

Oct, 2018

使用重要性加权变分推断的深高斯过程

本文提出了一种基于 Deep Gaussian processes（DGPs）的新型重要性加权目标函数，通过引入含噪变量作为潜在协变量，相比于经典的变分推断，可以在提高准确性的同时节省计算量，并且在更深层次的模型中表现良好。

May, 2019

具有线性复杂度的高斯过程模型的变分推断

本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

Nov, 2017