本文提出了一种贝叶斯方法，通过非标准变分推理框架在GP-LVM中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
本文提出了一种变分高斯过程(VGP)方法，该方法是一种贝叶斯非参数变分方法，利用随机非线性映射生成近似后验样本，适应于复杂的后验分布，且通过学习随机映射的分布来使之适应于不同的复杂度，该方法在无监督学习中实现了最新的最佳结果。
通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。
Feb, 2016
我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。
Mar, 2017
本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文提出了一种基于Deep Gaussian processes（DGPs）的新型重要性加权目标函数，通过引入含噪变量作为潜在协变量，相比于经典的变分推断，可以在提高准确性的同时节省计算量，并且在更深层次的模型中表现良好。
May, 2019
提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。
Oct, 2019
本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在CIFAR-10中报告了完全基于GP的模型的最新结果。
我们引入神经操作变分推断（NOVI）用于深度高斯过程，使用神经生成器获得采样器，并通过最小化L2空间中生成分布和真实后验之间的正则化Stein差异解决挑战。我们使用Monte Carlo估计和子抽样随机优化技术求解极小极大问题。我们的实验证明，通过将Fisher差分乘以常数可以控制我们方法引入的偏差，从而实现鲁棒的误差控制，确保算法的稳定性和精确性。我们在从几百到数万的数据集上的实验表明了所提方法的有效性和更快的收敛速度。我们在CIFAR10数据集上实现了93.56％的分类准确性，超过了SOTA高斯过程方法。此外，我们的方法在DGP模型上理论上保证预测误差可控，并在各种数据集上展现出卓越性能。我们对NOVI能够提升深度贝叶斯非参数模型的性能并对各种实际应用产生重大影响持乐观态度。
Sep, 2023