Dec, 2023

结构化状态空间模型是深层 Wiener 模型

PDF
TL;DR为了促进机器学习和系统识别社区之间的有效交流，本文旨在以系统辨识友好的方式介绍结构化状态空间模型（SSMs）。SSMs 近期在机器学习社区受到欢迎，因为它们可以高效可扩展地训练以解决极长序列分类和回归问题。此外，SSMs 还被视为学习深威纳模型的有效方法，从而将 SSMs 作为一种常用于系统辨识的模型类进行扩展。最后，本文总结了该主题的最新贡献并强调了未来的研究方向。
发现论文，激发创造
  • 概率循环状态空间模型

    本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性， 并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

    Jan, 2018

  • 状态空间模型作为基础模型的控制论概述

    近年来，将线性状态空间模型（SSM）整合到深度神经网络架构的基础模型中的兴趣日益增长。该论文对控制理论家介绍了 SSM 基于架构，并总结了最新的研究进展，对最成功的 SSM 提案进行了系统回顾，从控制理论的角度突出了它们的主要特点。此外，我们针对用于评估模型在学习长序列方面效率的标准基准进行了这些模型的性能比较分析。

    Mar, 2024

  • 深度结构化状态空间模型的模型降阶：一种系统理论方法

    在参数化系统识别中，准确实现具有有限复杂性的系统建模至关重要。本文通过针对深度结构状态空间模型中线性动力学模块的系统理论模型降阶技术来解决这一挑战。我们引入了两个正则化项，在训练损失中加入以改善模型降阶效果。通过模态 L1 和 Hankel 核范数正则化，我们促进了稀疏性，只保留相关状态而不损失准确性。所提出的正则化方法具有简约表示和由降阶模型带来的更快推断的优势。我们使用飞机的真实世界地面振动数据展示了所提出方法的有效性。

    Mar, 2024

  • 深度选择状态空间模型的理论基础

    基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。

    Feb, 2024

  • 用于新一代网络替代 Transformer 的状态空间模型：概述

    在这篇论文中，我们首次全面回顾了 State Space Model（SSM）作为自注意力基础的 Transformer 模型的特性和优势，并提供了实验比较和分析。此外，我们还研究了 SSM 在自然语言处理和计算机视觉等多个领域的应用，并提出了未来研究的方向，希望能推动 SSM 在理论模型和应用方面的发展。

    Apr, 2024

  • 高斯过程状态空间模型的识别

    本文介绍了 Gaussian 过程状态空间模型，并探讨最大的挑战 —— 系统识别，提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题，并使用重参数化技巧有效计算边缘似然的下界，可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。

    May, 2017

  • 无采样概率深度状态空间模型

    提出了一种基于神经网络的确定性推理算法，用于训练和测试具有未知参数形式的概率深度状态空间模型，实验结果表明该方法在预测性能和计算预算方面具有卓越的平衡性。

    Sep, 2023

  • 非线性状态空间模型的结构化推理网络

    本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

    Sep, 2016

  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024

  • 状态空间模型在估计具有动态平滑性的函数中与变压器可比

    基于状态空间模型的深度神经网络在序列建模中引起了广泛关注，本文从估计序列到序列函数的角度出发，理论探讨了状态空间模型可以替代 Transformers 的任务范围，并证明了状态空间模型能够在特定类别的函数估计中取代 Transformers。

    May, 2024