Sep, 2023

多维高斯过程状态空间模型的高效建模与推断

PDF
TL;DR高斯过程状态空间模型（GPSSM）中引入了高效变换的高斯过程（ETGP）以及归一化流来有效地建模高维潜在状态空间中的转换函数，从而提高了模型的计算效率。此外，我们还开发了相应的变分推断算法，通过数量和计算复杂性的比较，优于现有方法。实验结果验证了该方法的效率，并证明其与现有方法相比具有相似的推断性能。
gaussian process state-space modelefficient transformed gaussian processnormalizing flowsvariational inference algorithmhigh-dimensional latent state space
发现论文，激发创造
  • 高斯过程状态空间模型的识别

    本文介绍了 Gaussian 过程状态空间模型，并探讨最大的挑战 —— 系统识别，提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题，并使用重参数化技巧有效计算边缘似然的下界，可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。

    May, 2017

  • 集合卡尔曼滤波辅助变分推断在高斯过程态空间模型中的应用

    通过集成卡尔曼滤波器（EnKF）近似推断隐藏状态的后验分布，我们提出了一种改进的变分推断方法，有效地训练高斯过程状态空间模型（GPSSM），并在学习和推断性能方面优于现有方法。

    Dec, 2023

  • 变分高斯过程状态空间模型

    该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程，以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法（变分贝叶斯和顺序蒙特卡洛）进行主算法等。

    Jun, 2014

  • 高效的贝叶斯学习高斯过程空间模型

    本文介绍了一种用高斯过程状态空间模型进行高效贝叶斯学习的方法，其中高斯过程投影到利用先验协方差结构导出的一组近似特征函数集合上。通过谨慎设计的粒子 MCMC 算法，可以在这种模型家族下进行学习。相比传统的系统识别工具或现有的学习方法，我们在模型不确定性的可靠量化方面表现更具竞争力。

    Jun, 2015

  • 利用粒子 MCMC 对高斯过程状态空间模型进行贝叶斯推断和学习

    通过向状态转移动力学分布中添加高斯过程先验，结合分析型建模和蒙特卡罗采样器进行直接联合平滑分布推断的方法，提出了一种非线性非参数状态空间模型的完全贝叶斯方法。

    Jun, 2013

  • 具有非高斯似然函数的状态空间高斯过程

    本文提供 GP 建模的全面概述和工具，并使用状态空间方法处理非高斯似然。该方法使得在 o（n）时间和内存复杂度下解决一维 GP 模型成为可能。我们提出将高效的状态空间方法与现有 infernece 方法相结合的手段，包括拉普拉斯近似，变分贝叶斯和 assumed density filtering 等方法。

    Feb, 2018

  • 高斯过程状态空间模型中的主动学习

    本文研究了高斯过程状态空间模型的主动学习。通过决定其输入，我们可以通过 GPSSM 最优地学习系统的潜在状态，以便选择最具信息量的输入。我们提出了两种逼近潜在状态下 GPSSM 的互信息的方法，并在多个物理系统中进行了评估。

    Jul, 2021

  • 双稀疏变分高斯过程

    本文提出了结合 inducing points 和 state-space formulation 的方法，并给出了相应的 varitational parameterisation 公式，该方法在深度高斯过程模型中的应用效果明显。

    Jan, 2020

  • 状态空间高斯过程模型中的快速变分学习

    该论文提出了一种使用 Kalman 递归实现线性时间推断的方法，避免了数值不稳定和收敛问题，通过实现该方法，解决了在处理非高斯似然时所遇到的麻烦，同时达到了快速稳定的变分推断效果，可处理包含百万数据点的时间序列的状态空间高斯过程模型。

    Jul, 2020

  • 利用随机变分推断的一般状态空间模型的时间序列聚类

    我们提出了一种基于模型的时间序列聚类方法，使用混合通用状态空间模型（MSSMs）。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型，从而提高聚类和预测精度，并增强估计参数的解释性。该方法使用随机变分推断（stochastic variational inference）来估计 MSSMs 的参数，并利用具有归一化流（normalizing flow）的神经网络作为变分估计器来估计任意状态空间模型的潜在变量。可以使用贝叶斯信息准则（Bayesian information criterion）来估计聚类数量，并通过引入熵退火等优化技巧来防止 MSSMs 陷入局部最优。在模拟数据集上的实验表明，该方法对于聚类、参数估计和聚类数量估计是有效的。

    Jun, 2024