概率循环状态空间模型

Jan, 2018

Probabilistic Recurrent State-Space Models

Andreas Doerr, Christian Daniel, Martin Schiegg, Duy Nguyen-Tuong, Stefan Schaal...

TL;DR本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性，并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

Abstract

state-space models (SSMs) are a highly expressive model class for learning patterns in time series data and for system identification. Deterministic versions of SSMs (e.g. LSTMs) proved extremely successful in modeling complex time series data. Fully probabilistic SSMs, however, are of

state-space models probabilistic model learning doubly stochastic variational inference latent state temporal correlations scalable training algorithm

发现论文，激发创造

无采样概率深度状态空间模型

提出了一种基于神经网络的确定性推理算法，用于训练和测试具有未知参数形式的概率深度状态空间模型，实验结果表明该方法在预测性能和计算预算方面具有卓越的平衡性。

Sep, 2023

时态图上的状态空间模型：第一原理研究

本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

Jun, 2024

从泛化分析到状态空间模型的优化设计

本文研究了状态空间模型（SSM）的普适性，并提出基于普适性结果改进训练算法的方法。具体地，我们给出了一种依赖数据的 SSM 普适性界限，展示了 SSM 参数与训练序列的时间依赖性之间的相互作用。基于该普适性界限，我们（1）建立了一个基于提出的普适性度量的模型初始化缩放规则，显著提高了 SSM 对序列数据中不同时间模式的输出值尺度的稳健性；（2）引入了一种新的正则化方法来提高 SSM 的普适性性能。通过数值实验验证了我们的结果。

May, 2024

状态空间模型中的状态幻觉

通过对比转换器架构的普遍存在的理论弱点，我们的分析揭示了状态空间模型在状态跟踪方面与转换器非常相似的表达能力的限制，这可能从根本上限制了它们解决现实世界状态跟踪问题的能力。

Apr, 2024

高斯过程状态空间模型的识别

本文介绍了 Gaussian 过程状态空间模型，并探讨最大的挑战 —— 系统识别，提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题，并使用重参数化技巧有效计算边缘似然的下界，可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。

May, 2017

深度选择状态空间模型的理论基础

基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。

Feb, 2024

随机多目标系统的关系状态空间模型

本文提出了一种基于关系状态空间模型 (R-SSM) 的序列分层潜变量模型，其利用图神经网络 (GNNs) 模拟多个相关对象的联合状态转移，同时提供了一种灵活的将关系信息纳入到多对象动态建模的方式，并且通过实验在合成和真实时间序列数据集上进行了验证。

Jan, 2020

利用简单的离散状态空间有效建模时间序列

提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计算效率提高，并在大量不同的基准测试中取得最先进的结果。

Mar, 2023

利用随机变分推断的一般状态空间模型的时间序列聚类

我们提出了一种基于模型的时间序列聚类方法，使用混合通用状态空间模型（MSSMs）。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型，从而提高聚类和预测精度，并增强估计参数的解释性。该方法使用随机变分推断（stochastic variational inference）来估计 MSSMs 的参数，并利用具有归一化流（normalizing flow）的神经网络作为变分估计器来估计任意状态空间模型的潜在变量。可以使用贝叶斯信息准则（Bayesian information criterion）来估计聚类数量，并通过引入熵退火等优化技巧来防止 MSSMs 陷入局部最优。在模拟数据集上的实验表明，该方法对于聚类、参数估计和聚类数量估计是有效的。

Jun, 2024

结构化状态空间模型是深层 Wiener 模型

为了促进机器学习和系统识别社区之间的有效交流，本文旨在以系统辨识友好的方式介绍结构化状态空间模型（SSMs）。SSMs 近期在机器学习社区受到欢迎，因为它们可以高效可扩展地训练以解决极长序列分类和回归问题。此外，SSMs 还被视为学习深威纳模型的有效方法，从而将 SSMs 作为一种常用于系统辨识的模型类进行扩展。最后，本文总结了该主题的最新贡献并强调了未来的研究方向。

Dec, 2023