本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
使用GRIEF核心和Nystrom近似,构建Gaussian过程用于高维问题中的快速似然估计和广义贝叶斯推断。
Jul, 2018
本文提出了一种替代解耦方法的方法,它采用正交基来建模标准耦合方法无法学习到的残差项,同时利用信息流形结构加速学习,实现了更快的收敛性能。
Sep, 2018
发展了出色的变分逼近高斯过程后验方法,可以避免数据集尺寸为N的时间复杂度O(N³)的问题,而将计算复杂度降低到O(NM²)的程度,M是总结进程的引出的变量数。结果表明,通过以比N更慢的速度增加M,可以使KL散度任意小。
Mar, 2019
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型,通过将核表示成一个随机变量,并利用其先验和后验信念来学习其不确定性,进而避免避免过度自信,通过随机梯度上升的方法来迭代地最大化变分下界以提高精度,该方法适用于大规模数据集。
Dec, 2019
本文提出了结合inducing points和state-space formulation的方法, 并给出了相应的varitational parameterisation公式, 该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
该研究提出了一种新的互域变分高斯过程模型,使用球谐表示法将数据映射到单位超球面上,并采用类似变分傅里叶特征的推理方案,这使得模型能够在保持最先进准确度的同时,比标准稀疏高斯过程模型快出两个数量级拟合具有600万个条目的回归模型,并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。
Jun, 2020
该论文提出了一种使用Kalman递归实现线性时间推断的方法,避免了数值不稳定和收敛问题,通过实现该方法,解决了在处理非高斯似然时所遇到的麻烦,同时达到了快速稳定的变分推断效果,可处理包含百万数据点的时间序列的状态空间高斯过程模型。
Jul, 2020
研究稀疏逼近方法在进行核方法和高斯过程(GPs)的大规模数据方面的连接,着重于Nyström方法和Sparse Variational Gaussian Processes (SVGP)。在回归问题的上下文中,提供一种RKHS解释SVGP逼近,并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数,揭示了两种方法之间的代数等价性的来源。此外,研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。
Jun, 2021