本文提出了一种使用期望传播方法高效地训练高斯过程分类器的方法,以应对大型数据集的训练需求;此方法可用于分布式训练和使用梯度的随机逼近最大化边缘似然估计。实验证明其与使用变分方法相比是有竞争力的。
Jul, 2015
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
通过与一个识别模型相结合,我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下,我们重新参数化变分后验分布,并推导出一个可处理深度学习任务规模数据集的变分下界公式,证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
提出了一种可扩展的基于 Polya-Gamma 数据增强和诱导点的随机变分方法,通过自然梯度得到闭合式更新以实现高效优化,对真实世界数据集进行了评估并展示了其具有与最先进技术竞争的预测性能,可以比同类算法快两个数量级。
Feb, 2018
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
通过交叉验证和最近邻截断,我们引入了一种简单可扩展的高斯过程模型训练方法,并采用泊松伽玛辅助变量和变分推断来适应二元和多元分类,通过与其他方法的比较,我们发现我们的方法提供了快速训练和出色的预测性能,这可以归因于预测分布的非参数性质和交叉验证损失对模型错误说明的鲁棒性。
May, 2021
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文介绍了一种全面可扩展的高斯过程实现体系,它通过使用子空间感应输入的表示技巧来处理高数量训练实例及高维输入数据的问题,并结合特定基于矩阵预处理的变分分布参数化,形成简化且数值稳定的变分下限。我们基于极具挑战性的极端多标签分类问题和大量类标签的负担,进行了说明性应用。我们通过在具有极大数量的实例和输入维度的数据集中呈现预测性能和低计算时间来展示我们方法的实用性。
Jul, 2018
本文讨论了利用 Dirichlet 分布将 Gaussian 过程回归直接应用于分类标签从而在保证精确性的前提下减少计算开销的新方法。实验证明该方法在减少计算资源消耗的同时也可以提供与 Gaussian 过程分类相当的准确性和不确定性估计。
May, 2018
提出了两种可扩展的高斯过程回归方法,通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。
Oct, 2019