MMOct, 2016

AutoGP: 探索高斯过程模型的能力和限制

PDF
TL;DR该论文研究了高斯过程模型的能力和局限性，提出了一种具有可扩展性和统计效率的推理方法，探索了灵活的内核和用于学习超参数的客观函数。通过实验结果表明，这种方法在标准 MNIST 数据集上的性能优于所有之前报告的 GP 方法，并在 MNIST8M 数据集上突破了 1％的误差率，同时展示了它在分类问题中的可扩展性。总的来说，该方法在内核方法和 GP 模型方面取得了重大突破，缩小了深度学习方法和内核机器之间的差距。
发现论文，激发创造
  • 当高斯过程遇到大数据：可扩展高斯过程综述

    本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法，主要包括稀疏逼近、混合专家模型和产品专家模型，并探讨了这些模型在数据规模大的情况下的应用前景。

    Jul, 2018

  • 高斯过程模型可扩展的交叉验证损失

    通过交叉验证和最近邻截断，我们引入了一种简单可扩展的高斯过程模型训练方法，并采用泊松伽玛辅助变量和变分推断来适应二元和多元分类，通过与其他方法的比较，我们发现我们的方法提供了快速训练和出色的预测性能，这可以归因于预测分布的非参数性质和交叉验证损失对模型错误说明的鲁棒性。

    May, 2021

  • 具有深度卷积高斯过程的贝叶斯图像分类

    本研究提出了一种翻译不敏感的卷积核，并将高斯过程重新制定为多输出高斯过程，以实现深度卷积高斯过程。实验证明，与使用 dropout 的贝叶斯深度学习方法相比，我们的全贝叶斯方法在不确定性和边际似然估计方面的性能有所提高。

    Feb, 2019

  • 大规模高斯过程的思考

    本文介绍了一种高效、可扩展的高斯过程（MSGP）的框架及其初步结果，该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似，将 GP 的时间复杂度降至 O (n)，测试点的预测时间复杂度降至 O (1)。

    Nov, 2015

  • 卷积高斯过程

    介绍了在 Gaussian 过程中引入卷积结构的方法，并构建了适用于卷积核的跨域诱导点逼近，利用较快但准确的后验推理获得卷积核的泛化利益，应用于多项研究中，其中通过边缘似然可进一步提高性能。

    Sep, 2017

  • 超越直觉，应用高斯过程于真实世界数据的框架

    高斯过程在小型、结构化和相关的数据集上提供了一种有吸引力的回归方法。然而，它们的部署受到计算成本的限制，并且缺乏如何应用于复杂的低维数据集的指导。我们提出了一个框架，用于确定高斯过程在给定问题上的适用性，并建立一个强大且明确的高斯过程模型。该框架给出了有经验的高斯过程实践者的决策指南，重点关注核函数设计和计算可扩展性选项。然后，该框架用于一个冰川海拔变化的案例研究，在测试时得到更准确的结果。

    Jul, 2023

  • 高斯过程模型推理网络的可扩展训练

    本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理，该算法针对大规模数据的情况具有可扩展性和易实现性，并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。

    May, 2019

  • GP+: 基于高斯过程进行核算法学习的 Python 库

    通过混合概率学习方法，我们介绍了一种基于高斯过程的开源库 GP+，该库建立在 PyTorch 之上，具有用户友好性和面向对象的特点，用于概率学习和推理。我们还提出了融合非线性流形学习技术和高斯过程的协方差和均值函数的方法，并通过多个实例展示了 GP + 相对于其他 GP 建模库的独特优势。同时，我们还向 GP + 引入了能够进行概率数据融合和参数逆向估计的方法贡献以及在分类和定量变量混合特征空间上拥有节约参数的均值函数。我们在贝叶斯优化、多精度模型、灵敏度分析和计算机模型的校准等领域展示了这些贡献的重要影响。

    Dec, 2023

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 百万数据点上的精确高斯过程

    本文提出了一种可扩展的方法，利用多 GPU 并行化和线性共轭梯度等方法，仅通过矩阵乘法就可以访问核矩阵，将核矩阵乘法进行分区和分配，演示了可以在不到 2 小时内对超过一百万个点进行精确的高斯过程训练，并在规模上进行了比较，表现出显著的性能提升。

    Mar, 2019