稀疏变分学生 - t 过程
我们比较了学生 T 过程与高斯过程作为非参函数先验的可行性,证明了学生 T 过程可以保留高斯过程的非参数表示法和解析边缘分布以及预测分布,同时具有增强的灵活性和预测协方差,特别适用于协方差结构发生变化或需要精确预测的情况。
Feb, 2014
本文介绍了基于 Student's-T 过程的高斯过程贝叶斯优化方法,并探讨了其在航空航天优化中的优势。文章比较了高斯过程和 Student's-T 过程在贝叶斯优化的经典测试问题上的表现,同时将 Student's-T 过程应用于机身结构设计问题。
Jan, 2018
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。
Oct, 2019
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
本文中,我们以无穷指数集的情况为例,给出了最小化近似过程与后验过程之间严格定义的 KL 距离的变分框架的实质性推广。同时,我们还讨论了增广指数集并表明,增广的边际一致性不能保证变分推断与原模型一致,但是我们给出了可获得此保证的额外条件的特征。最后,我们展示了我们的框架如何阐明跨域稀疏求值和 Cox 过程的稀疏求值。
Apr, 2015
我们提出了椭圆过程,这是一类非参数概率模型,它包含了高斯过程和学生 t 过程。通过连续高斯混合分布的表示,椭圆过程具有一系列新的重尾行为,同时保持计算可行性。使用样条标准化流的参数化混合分布来训练变分推断,并提出了适用于大规模问题的稀疏变分椭圆过程。通过回归和分类实验,我们强调了与高斯过程相比的优势。在非高斯似然函数或精确的尾部建模至关重要的情况下,椭圆过程可以取代高斯过程。
Nov, 2023
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究,提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架,该框架结合贝叶斯方法处理频率谱避免过拟合,利用本地数据提高预测性能,并利用参数化技巧使得所得到的随机梯度具有线性结构,从而提高了稀疏 GP 模型的性能。实验结果表明,我们的模型优于现有的 SGP 模型的实现方法。
Nov, 2016
提出了一种基于贝叶斯混合学生 t 过程和整体 - 局部尺度结构的方法,用于建模时间相关数据中的非平稳性和重尾误差,并利用顺序蒙特卡洛采样器进行实时数据在线推断,通过在真实世界数据集上的比较实验表明了该方法相对于典型的高斯过程模型的优势,证明了使用学生 t 过程混合模型的必要性。
Nov, 2023