Jul, 2024

为组合高斯过程模型设计的自适应RKHS Fourier特征

HTML
PDF
TL;DR利用深高斯过程（Deep Gaussian Processes）的组合结构来建模非平稳过程，并借助全局傅里叶特征提高其捕捉复杂非平稳模式的能力，通过引入基于常微分方程的傅里叶特征使我们的模型能够通过卷积操作进行自适应振幅和相位调制，进一步提升了回归任务的预测性能。
发现论文，激发创造
  • 循环高斯过程

    本文介绍了一种基于回归高斯过程（RGP）模型的贝叶斯非参数模型，能够从序列数据中学习动态模式，并提出了一种低维度的RNN-based顺序识别模型，可用于非线性系统识别，以及具有广泛适用性的动态学习。

    Nov, 2015

  • 利用变分傅里叶特征进行大规模Cox过程推断

    该论文提出了一种基于傅立叶特征的Cox过程推断方法，用于在三维空间中模拟具有复杂时空模式的超过100,000个事件，其具有比先前方法更一致的优化行为，并能近似贝叶斯估计非高斯后验概率。

    Apr, 2018

  • 深度高斯过程中的组合不确定性

    本文介绍了高斯过程和深度高斯过程，并探讨了用于近似贝叶斯推断的不同变分推断模型及其优点和局限性。

    Sep, 2019

  • 具有球谐特征的稀疏高斯过程

    该研究提出了一种新的互域变分高斯过程模型，使用球谐表示法将数据映射到单位超球面上，并采用类似变分傅里叶特征的推理方案，这使得模型能够在保持最先进准确度的同时，比标准稀疏高斯过程模型快出两个数量级拟合具有600万个条目的回归模型，并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。

    Jun, 2020

  • 带收缩先验的组合稀疏高斯过程学习

    本文提出了一种有效的方法：使用Horseshoe先验处理核函数的稀疏性来学习核组合，提供更好的匹配度和更短的计算时间。

    Dec, 2020

  • 基于谐核分解的可扩展变分高斯过程

    本文提出了一种新的可扩展的变分高斯过程近似方法，采用傅里叶级数将核作为正交核的和进行分解，利用这种正交性使众多诱导点具有低计算成本，能在回归和分类问题中利用输入空间的对称性，明显优于标准变分方法，并在CIFAR-10中取得与纯GP模型的最新成果。

    Jun, 2021

  • 深度变分隐式进程

    提出了Deep Variational Implicit process(DVIP)作为Implicit processes(IPs)的一种多层泛化方法，并通过大规模数据集上的回归和分类实验展示其可扩展性及性能优越于之前的IP-based方法和深层高斯过程。

    Jun, 2022

  • 基于综合变分傅里叶特征的高斯过程快速空间建模

    通过使用集成的Fourier特征，我们提出了一种扩展性能优势的方法，适用于广泛的平稳协方差函数类，从收敛分析和实证探索中证明了在合成和实际空间回归任务中的实际加速。

    Aug, 2023

  • 多维高斯过程状态空间模型的高效建模与推断

    高斯过程状态空间模型（GPSSM）中引入了高效变换的高斯过程（ETGP）以及归一化流来有效地建模高维潜在状态空间中的转换函数，从而提高了模型的计算效率。此外，我们还开发了相应的变分推断算法，通过数量和计算复杂性的比较，优于现有方法。实验结果验证了该方法的效率，并证明其与现有方法相比具有相似的推断性能。

    Sep, 2023

  • 深层潜在力模型：基于 ODE 的过程卷积用于贝叶斯深度学习

    本研究提出了深度潜在力模型（DLFM），它是一种面向领域的方法，用于准确建模高度非线性动力系统并量化不确定性，该模型采用深度高斯过程架构，每个层的核函数基于普通微分方程和过程卷积的框架导出，通过权重空间和变分感应点的高斯过程近似，我们证明了该模型能够捕捉真实世界多元时间序列数据中的高度非线性行为，并且在基准回归任务上与其他概率模型具有可比性能，同时我们还通过实证评估证明了感应点框架对基于LFM的模型的外推能力的负面影响。

    Nov, 2023