深度Wishart过程的改进变分近似后验
本文提出了一种变分高斯过程(VGP)方法，该方法是一种贝叶斯非参数变分方法，利用随机非线性映射生成近似后验样本，适应于复杂的后验分布，且通过学习随机映射的分布来使之适应于不同的复杂度，该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
本文介绍了一种使用概率分布的随机矩阵来管理参数的变分贝叶斯神经网络，并使用矩阵变量高斯参数后验分布来明确建模每个层的输入和输出维度之间的协方差。此外，使用近似协方差矩阵，可以实现比完全分解更高效且更便宜的表示，同时无需损失模型性能。通过引入“局部重参数化技巧”，可以将此后验分布转换为高斯过程，从而为每个层的隐藏单元提供解释，与深度高斯过程建立联系，并结合伪数据提高了模型采样效率。实验表明所提出的方法的有效性。
Mar, 2016
本研究提出一种新的深度内核学习方法和随机变分推断程序，利用加性基础内核方法将子集的输出特征整合入深度神经网络以提高分类性能，并比较了该方法与深度神经网络、SVM和基于高斯过程的方法在多个分类基准测试中的性能。
Nov, 2016
本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。
Dec, 2019
本文介绍了深度核过程的概念，探究了深度高斯过程、贝叶斯神经网络以及无限贝叶斯神经网络等模型与深度核过程的等价性，并提出了便于求解的深度逆 Wishart 过程，并通过 Gram 矩阵进行了基于感应点的变分推断，取得了优于标准全连接基线的性能表现。
Oct, 2020
本文介绍了一种基于无限宽的贝叶斯表达学习界限的深层高斯过程方法以及基于这个界限的核方法的深度泛化技术。实验证实这种方法能够处理有限宽的高斯方法以及NNs，这将有助于在大规模数据上应用这种方法。
Aug, 2021
提出了Deep Variational Implicit process(DVIP)作为Implicit processes(IPs)的一种多层泛化方法，并通过大规模数据集上的回归和分类实验展示其可扩展性及性能优越于之前的IP-based方法和深层高斯过程。
Jun, 2022
我们引入神经操作变分推断（NOVI）用于深度高斯过程，使用神经生成器获得采样器，并通过最小化L2空间中生成分布和真实后验之间的正则化Stein差异解决挑战。我们使用Monte Carlo估计和子抽样随机优化技术求解极小极大问题。我们的实验证明，通过将Fisher差分乘以常数可以控制我们方法引入的偏差，从而实现鲁棒的误差控制，确保算法的稳定性和精确性。我们在从几百到数万的数据集上的实验表明了所提方法的有效性和更快的收敛速度。我们在CIFAR10数据集上实现了93.56％的分类准确性，超过了SOTA高斯过程方法。此外，我们的方法在DGP模型上理论上保证预测误差可控，并在各种数据集上展现出卓越性能。我们对NOVI能够提升深度贝叶斯非参数模型的性能并对各种实际应用产生重大影响持乐观态度。
Sep, 2023