本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

Oct, 2021

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

May, 2016

使用基于循环线性层（包括 S4、S5 和 LRU），与位置逐层多层感知器（MLPs）交错的序列模型家族可以有效逼近任何足够规则的非线性序列映射，其中循环层被视为能够将输入序列信息忠实地存储在内部状态中，并在高度表达的 MLP 进行处理之前。

Jul, 2023

本文提出了一种依赖于稀疏测量数据的深度学习方法，可以对非线性系统动力学行为进行建模和状态估计，并在多个测试数据集上验证了其有效性。

Apr, 2022

本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

Jun, 2024

建模序列数据中的长程依赖是序列学习中关键的一步，本研究提出了一种新模型 Structured State Space（S4），通过结构化状态空间模型在建模长程序列方面表现出了显著的有效性。与 S4 相比，本研究采用指数平滑（ETS）作为简单的状态空间模型，并将其直接融入逐元素 MLP 中，通过添加额外参数和复杂域来减少归纳偏差，虽然我们的模型仅比逐元素 MLP 增加了不到 1% 的参数，但在 LRA 基准测试上取得了可比较的结果。

Mar, 2024

本文旨在通过恢复底层的低维潜在状态及其时间演化来改进动力系统的泛化能力和解释能力。我们提出了一种基于变分自编码器的实用算法，并在逼真的合成环境中进行了实证研究，证明我们能够高准确性地恢复潜在状态动力学，相应地实现高未来预测准确性，并且能够快速适应新环境。

Jun, 2024

在本文中，我们从参数化的角度研究了状态空间模型（SSMs）的长期记忆学习能力。我们证明了没有进行重新参数化的状态空间模型具有类似于传统循环神经网络的记忆限制：状态空间模型能够稳定逼近的目标关系必须具有指数衰减的记忆。我们的分析将这种 “记忆的诅咒” 视为循环权重收敛至稳定边界的结果，因此暗示重新参数化技术可能是有效的。为此，我们引入了一类针对 SSMs 的重新参数化技术，可以有效解除其记忆限制。除了提高逼近能力之外，我们进一步说明了选择合理的重新参数化方案也可以增强优化的稳定性。我们使用合成数据集和语言模型对我们的发现进行了验证。

Nov, 2023

对基于循环模型的顺序数据处理的最新方法进行了深入总结，并提供了关于体系结构和算法解决方案的完整分类，引导研究者在这一吸引人的研究领域进行进一步研究。

Jun, 2024