本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。
Jun, 2018
本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。
Jul, 2018
该论文提出了一种使用Kalman递归实现线性时间推断的方法，避免了数值不稳定和收敛问题，通过实现该方法，解决了在处理非高斯似然时所遇到的麻烦，同时达到了快速稳定的变分推断效果，可处理包含百万数据点的时间序列的状态空间高斯过程模型。
Jul, 2020
本文提出一种无需完全核矩阵的矩阵分解即可计算的高斯过程回归模型的对数边际似然的下界。我们通过最大化我们的下界来学习模型参数的近似最大似然方法保留了许多稀疏变分方法的优点，同时减少了参数学习中引入的偏差。我们的方法通过对出现在对数边际似然中的对数行列式项进行更仔细的分析，以及使用共轭梯度法导出涉及二次形式的项的紧凑下界，从而在统一依赖下界最大化的方法和基于共轭梯度的迭代方法的训练高斯过程方面迈出了一步。实验结果表明，相对于其他基于共轭梯度的方法，在相当的训练时间内，我们的模型具有更好的预测性能。
Feb, 2021
通过使用双参数化来给每个数据示例分配双参数，以提高计算效率，使用自然梯度下降加速推理并为超参数学习提供更紧的证据下限，提高了稀疏变分高斯过程方法的计算效率。
Nov, 2021
本文提出了一种基于连续指数族描述的高斯变分过程的参数化方法，利用凸优化算法来解决具有非线性扩散过程先验的潜在过程的生成模型下的概率推断和学习问题。
Jun, 2023
通过引入替代分布参数的优化，我们提出了一种用于克服自然梯度计算困难的新技术，该方法适用于多种问题，并且扩展了可以高效利用自然梯度的分布集合，可用于最大似然估计和变分推断任务。
Oct, 2023
高斯过程回归的深度学习方法采用了特定的随机对偶梯度下降算法，通过优化和核技术的结合，取得了与图神经网络相媲美的性能。
随机自然梯度变分推断方法（NGVI）在各种概率模型中被广泛应用，本文对其非渐近收敛速度进行研究，证明了对于共轭似然情况下的非渐近收敛率为1/T，而对于非共轭似然情况下的随机NGVI，证明了它隐式地优化了一个非凸目标。
Jun, 2024