介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。

Sep, 2013

本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和MNIST数据集上证明了其优越性。

Feb, 2014

本文提出了一种贝叶斯方法，通过非标准变分推理框架在GP-LVM中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。

Sep, 2014

本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

Nov, 2017

本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

Jun, 2018

提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

Oct, 2019

本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在CIFAR-10中报告了完全基于GP的模型的最新结果。

Oct, 2019

该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

Dec, 2019

该论文提出了一种使用Kalman递归实现线性时间推断的方法，避免了数值不稳定和收敛问题，通过实现该方法，解决了在处理非高斯似然时所遇到的麻烦，同时达到了快速稳定的变分推断效果，可处理包含百万数据点的时间序列的状态空间高斯过程模型。

Jul, 2020

我们引入神经操作变分推断（NOVI）用于深度高斯过程，使用神经生成器获得采样器，并通过最小化L2空间中生成分布和真实后验之间的正则化Stein差异解决挑战。我们使用Monte Carlo估计和子抽样随机优化技术求解极小极大问题。我们的实验证明，通过将Fisher差分乘以常数可以控制我们方法引入的偏差，从而实现鲁棒的误差控制，确保算法的稳定性和精确性。我们在从几百到数万的数据集上的实验表明了所提方法的有效性和更快的收敛速度。我们在CIFAR10数据集上实现了93.56％的分类准确性，超过了SOTA高斯过程方法。此外，我们的方法在DGP模型上理论上保证预测误差可控，并在各种数据集上展现出卓越性能。我们对NOVI能够提升深度贝叶斯非参数模型的性能并对各种实际应用产生重大影响持乐观态度。

Sep, 2023