发展了出色的变分逼近高斯过程后验方法,可以避免数据集尺寸为 N 的时间复杂度 O (N³) 的问题,而将计算复杂度降低到 O (NM²) 的程度,M 是总结进程的引出的变量数。结果表明,通过以比 N 更慢的速度增加 M,可以使 KL 散度任意小。
Mar, 2019
本文针对核方法的高计算成本问题,提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间,从而改进了模型在回归和优化问题中的性能界限。
Feb, 2022
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
通过使用集成的 Fourier 特征,我们提出了一种扩展性能优势的方法,适用于广泛的平稳协方差函数类,从收敛分析和实证探索中证明了在合成和实际空间回归任务中的实际加速。
Aug, 2023
提出了两种可扩展的高斯过程回归方法,通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。
Oct, 2019
本文提出一种无需完全核矩阵的矩阵分解即可计算的高斯过程回归模型的对数边际似然的下界。我们通过最大化我们的下界来学习模型参数的近似最大似然方法保留了许多稀疏变分方法的优点,同时减少了参数学习中引入的偏差。我们的方法通过对出现在对数边际似然中的对数行列式项进行更仔细的分析,以及使用共轭梯度法导出涉及二次形式的项的紧凑下界,从而在统一依赖下界最大化的方法和基于共轭梯度的迭代方法的训练高斯过程方面迈出了一步。实验结果表明,相对于其他基于共轭梯度的方法,在相当的训练时间内,我们的模型具有更好的预测性能。
Feb, 2021
该研究使用混合专家模型代替传统高斯模型,在降低计算成本的同时,提高了模型的弹性和可伸缩性。
Feb, 2017
研究变分贝叶斯方法在高斯过程回归模型中的理论特性,针对 Titsias 引入的感应变量方法推导出相应变分贝叶斯(VB)后验获得收缩速率的充分条件,证明了针对三种特定的协方差核函数(Matern 核函数,平方指数核函数和随机级数先验)VB 方法可以通过适当选取足够多的感应变量实现优化、极小的收缩速率,并通过数值实验验证了理论发现。
Sep, 2021
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016