用于动态变化场景的隐式参数循环状态空间模型

ICLRJun, 2022

用于动态变化场景的隐式参数循环状态空间模型

Hidden Parameter Recurrent State Space Models For Changing Dynamics Scenarios

Vaisakh Shaj, Dieter Buchler, Rohit Sonker, Philipp Becker, Gerhard Neumann

TL;DR介绍了一种名为 HiP-RSSMs 的框架，将相关动态系统参数化为低维潜在因素，并在真实世界的控制任务和仿真中表现出优于 RSSMs 和其他多任务模型的动态行为。

Abstract

recurrent state-space models (RSSMs) are highly expressive models for learning patterns in time series data and system identification. However, these models assume that the dynamics are fixed and unchanging, whic

recurrent state-space models pattern learning system identification latent variable robotic benchmarks

发现论文，激发创造

概率循环状态空间模型

本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性，并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

Jan, 2018

高斯过程状态空间模型的识别

本文介绍了 Gaussian 过程状态空间模型，并探讨最大的挑战 —— 系统识别，提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题，并使用重参数化技巧有效计算边缘似然的下界，可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。

May, 2017

层级状态空间模型用于连续序列到序列建模

基于原始感官数据的推理是一个普遍存在的问题，本研究提出了一种基于分层状态空间模型（HiSS）的新技术，用于连续的序列预测，并在六个真实传感器数据集上展示了其优越性。

Feb, 2024

时态图上的状态空间模型：第一原理研究

本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

Jun, 2024

随机多目标系统的关系状态空间模型

本文提出了一种基于关系状态空间模型 (R-SSM) 的序列分层潜变量模型，其利用图神经网络 (GNNs) 模拟多个相关对象的联合状态转移，同时提供了一种灵活的将关系信息纳入到多对象动态建模的方式，并且通过实验在合成和真实时间序列数据集上进行了验证。

Jan, 2020

无采样概率深度状态空间模型

提出了一种基于神经网络的确定性推理算法，用于训练和测试具有未知参数形式的概率深度状态空间模型，实验结果表明该方法在预测性能和计算预算方面具有卓越的平衡性。

Sep, 2023

神经连续 - 离散状态空间模型用于不规则采样的时间序列

提出了神经连续 - 离散状态空间模型 (NCDSSM)，用于对时间序列进行连续时间建模。该模型使用辅助变量进行识别和动态分离，从而仅需要为辅助变量进行摊销推理。通过连续离散滤波理论，提出了三种灵活的潜在动态参数化方法和一种能够较快地进行后验推理的训练目标函数。实验结果表明，NCDSSM 在多个基准数据集上都比现有模型具有更好的插补和预测性能。

Jan, 2023

避免使用 HiPPOs 的长记忆状态空间模型之希望

通过使用 Hankel 算子理论，我们开发了一种名为 HOPE 的新的 LTI 系统参数化方案，使得状态空间模型能够进行随机初始化、提高训练稳定性，并具有非衰减的记忆能力，相比传统的模型，参数更少，并在长序列任务中表现出更好的性能，同时我们通过应用序贯 CIFAR-10 任务验证了我们模型的长时记忆能力。

May, 2024

利用简单的离散状态空间有效建模时间序列

提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计算效率提高，并在大量不同的基准测试中取得最先进的结果。

Mar, 2023

稳定的状态空间模型的记忆问题通过稳定的参数化得到缓解

在本文中，我们从参数化的角度研究了状态空间模型（SSMs）的长期记忆学习能力。我们证明了没有进行重新参数化的状态空间模型具有类似于传统循环神经网络的记忆限制：状态空间模型能够稳定逼近的目标关系必须具有指数衰减的记忆。我们的分析将这种 “记忆的诅咒” 视为循环权重收敛至稳定边界的结果，因此暗示重新参数化技术可能是有效的。为此，我们引入了一类针对 SSMs 的重新参数化技术，可以有效解除其记忆限制。除了提高逼近能力之外，我们进一步说明了选择合理的重新参数化方案也可以增强优化的稳定性。我们使用合成数据集和语言模型对我们的发现进行了验证。

Nov, 2023