Dec, 2023

通过 Kronecker 乘积来加速高效稀疏高斯过程 (E-SGP) 的流仿真

PDF
TL;DR本研究介绍了一种用于流体力学代理建模的高效稀疏高斯过程（E-SGP）算法，它结合了高效高斯过程（E-GP）和变分能量自由稀疏高斯过程（VEF-SGP）的概念，通过指定诱导点和使用 Kronecker 乘积，显著提高了计算效率。 E-SGP 算法在可伸缩性和模型质量方面优于 E-GP，在流体力学问题中，E-SGP 是一个更具潜力的选择，具有可比较的准确度但更高的计算效率。
sparse gaussian processsurrogate modellingefficient gpcomputational efficiencyfluid mechanics
发现论文，激发创造
  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • SigGPDE：在序列数据上扩展稀疏高斯过程

    本文我们提出了 SigGPDE，它是一个新的可扩展的稀疏变分推理框架，用于处理序列数据上的高斯过程。我们的贡献有两个方面：首先，我们构造了诱导变量来支撑稀疏近似，使得得到的证据下限 ELBO 不需要任何矩阵求逆；其次，我们展示了 GP 签名核的梯度是一个双曲型偏微分方程（PDE）的解，这一理论洞见使我们能够构建一个有效的反向传播算法来优化 ELBO。通过展示 SigGPDE 相对于现有方法的显着计算收益，同时在多达 1 百万个多元时间序列的大型数据集上实现最先进的分类任务性能。

    May, 2021

  • 一种用于稀疏谱高斯过程回归的广义随机变分贝叶斯超参数学习框架

    本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究，提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架，该框架结合贝叶斯方法处理频率谱避免过拟合，利用本地数据提高预测性能，并利用参数化技巧使得所得到的随机梯度具有线性结构，从而提高了稀疏 GP 模型的性能。实验结果表明，我们的模型优于现有的 SGP 模型的实现方法。

    Nov, 2016

  • 双稀疏变分高斯过程

    本文提出了结合 inducing points 和 state-space formulation 的方法，并给出了相应的 varitational parameterisation 公式，该方法在深度高斯过程模型中的应用效果明显。

    Jan, 2020

  • 稀疏高斯过程回归的有效优化

    我们提出了一种高效的优化算法，用于选择训练数据的子集以在高斯过程回归中引入稀疏性。该算法使用单个目标（边际似然或变分自由能）估计引入集合和超参数。其空间和时间复杂度与训练集大小呈线性关系，可以应用于离散或连续域上的大型回归问题。实证评估显示出在离散情况下的最新性能和连续情况下的竞争结果。

    Oct, 2013

  • 大规模高斯过程的思考

    本文介绍了一种高效、可扩展的高斯过程（MSGP）的框架及其初步结果，该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似，将 GP 的时间复杂度降至 O (n)，测试点的预测时间复杂度降至 O (1)。

    Nov, 2015

  • 实际稀疏变分高斯过程

    本文提出了一种将高斯过程映射到基于 B 样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于 B 样条基函数具有紧凑支持，可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用，从而实现高效地对快速变化的空间现象进行建模，涉及数万个感应变量。

    Apr, 2023

  • 输入相关的稀疏高斯过程

    使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。

    Jul, 2021

  • EigenGP: 自适应特征函数高斯过程模型

    本研究提出了一种新的贝叶斯方法 ——EigenGP，它在稀疏有限模型中学习基础词典元素 —— 高斯过程的特征函数和先验精度。通过最大化模型边缘似然函数，从数据中学习基础词典元素和相应的先验精度，以及所有其他超参数。与其他稀疏贝叶斯有限模型不同，本方法中的特征函数作为核函数的有限线性组合存在于再生核希尔伯特空间中。实验结果表明 EigenGP 具有比其他稀疏高斯过程方法及相关向量机更优秀的预测性能。

    Jan, 2014

  • 稀疏高斯过程变分自编码器

    研究了高斯过程深度生成模型中的氐变量的稀疏高斯过程近似的问题，并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器，从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据，并提高模型的计算效率。

    Oct, 2020