高斯过程模型可扩展的交叉验证损失
本文介绍了通过变分诱导点框架对高斯过程分类模型进行缩放,超越基准测试数据的最新水平。重要的是,在实验中展示了该变分方法可以用于具有数百万数据点的大数据集的分类。
Nov, 2014
本研究提出了一种基于最近邻预测的高斯过程回归算法,相比于现有算法,该算法具有更快的计算速度和更准确的预测结果,并且其对数据集大小和样本误差的鲁棒性更强。
Jun, 2023
提出了一种可扩展的基于 Polya-Gamma 数据增强和诱导点的随机变分方法,通过自然梯度得到闭合式更新以实现高效优化,对真实世界数据集进行了评估并展示了其具有与最先进技术竞争的预测性能,可以比同类算法快两个数量级。
Feb, 2018
该论文研究了高斯过程模型的能力和局限性,提出了一种具有可扩展性和统计效率的推理方法,探索了灵活的内核和用于学习超参数的客观函数。通过实验结果表明,这种方法在标准 MNIST 数据集上的性能优于所有之前报告的 GP 方法,并在 MNIST8M 数据集上突破了 1%的误差率,同时展示了它在分类问题中的可扩展性。总的来说,该方法在内核方法和 GP 模型方面取得了重大突破,缩小了深度学习方法和内核机器之间的差距。
Oct, 2016
本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法,主要包括稀疏逼近、混合专家模型和产品专家模型,并探讨了这些模型在数据规模大的情况下的应用前景。
Jul, 2018
本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理,该算法针对大规模数据的情况具有可扩展性和易实现性,并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。
May, 2019
本文提出了一种基于改进的 softmax 似然函数的新的可扩展的多类高斯过程分类方法,该新似然函数具有两个好处:它可以导致良好校准的不确定性估计,并允许有效的潜变量扩充。该模型通过块坐标升高更新实现了快速的变分推断方法,具有快速的条件共轭性,既可以实现不确定性校准,又可以实现速度。我们的实验表明,与现有技术相比,我们的方法在具有良好校准的不确定性估计和具有竞争预测性能的情况下,可以快两个数量级。
May, 2019
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014