高斯过程模型推理网络的可扩展训练
介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
本文提出了一种贝叶斯方法，通过非标准变分推理框架在GP-LVM中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
利用张量列车分解为变分参数的高斯过程建模方法，实现具有数十亿个输入点培训和端到端训练的深度神经网络和高斯过程回归/分类器的最新结果优化。
Oct, 2017
本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
本篇论文研究了在多任务高斯过程模型中如何持续不断地学习处理顺序输入输出观测值的问题，提出了基于在线贝叶斯推断先验——后验递归的方法，并结合诱导输入的稀疏近似引入了变分推断。通过该方法得到了可行的无限条件下界，并在自然情况下引入两个新的KL散度。本研究方法的关键技术是基于条件GP先验的递归重构，实现了对迄今为止学习到的变分参数的条件GP先验的递归重构。同时，该方法适用于许多类型的连续或离散的顺序观测，并且适用于可能出现潜在的多通道或异构观测值的场景。广泛的实验证明该方法具有可扩展性，表现可靠，并且对合成和真实世界的大量数据集的误差传播具有鲁棒性。
Oct, 2019