Mar, 2022

对角状态空间与结构状态空间同样有效

PDF
TL;DR本研究旨在探索长序列数据中的长程依赖性，评估 S4 和 DSS 模型在多种模态下的性能提升，并针对包括 Long Range Arena 任务和语音分类在内的不同任务进行了性能测试。结果表明，在某些任务上 DSS 模型的表现可媲美 S4 模型，且实现方式更为直接简单。
long-range dependenciesattention-based modelsstructured state spacediagonal state spacesequential data
发现论文，激发创造
  • 利用结构化状态空间高效建模长序列

    提出了一种结构化状态空间序列模型（S4），它在处理长依赖序列数据方面与传统模型相比有着更好的结果，通过调整状态矩阵可以将模型计算复杂度降低，达到了 SOTA 水平。

    Oct, 2021

  • 关于对角状态空间模型的参数化和初始化

    本文提出了一种简单的 S4 模型的对角变体 S4D，通过限制状态矩阵为全对角可保持原模型性能而又易于实现。

    Jun, 2022

  • 门控状态空间实现的长序列语言模型

    本论文介绍了一种基于门控状态空间（GSS）的自回归序列建模方法，该方法使用自注意力来建模局部依赖关系，从而能够有效地处理长距离依赖关系，且在英语书籍、Github 源代码和 ArXiv 数学文章上的实验表明，该方法训练速度明显快于传统方法并且具有零样本推广能力。

    Jun, 2022

  • 使用对角线线性递归神经网络简化和理解状态空间模型

    本文主要介绍了一种基于线性状态空间的序列模型，使用 vanilla Diagonal Linear RNNs 构建模型，并比较了该模型与 SSMs 以及 attention-based models 的表现。作者在 13 个合成序列任务中分析了不同模型的表现，结果表明该模型在一些高阶推理任务上表现良好。

    Dec, 2022

  • 通过近似对角化为长序列的状态空间模型提高鲁棒性

    在这篇论文中，我们提出了一个用于解决机器学习中的病态对角化问题的通用、稳定的 “扰动 - 然后对角化” (PTD) 方法，并基于此方法引入了 S4-PTD 和 S5-PTD 模型。通过对不同初始化方案的传递函数进行理论分析，我们证明了 S4-PTD/S5-PTD 初始化可以强大地收敛于 HiPPO 框架，而 S4D/S5 初始化只能实现弱收敛。因此，我们的新模型对傅里叶模式噪声扰动输入表现出了鲁棒性，这是 S4D/S5 模型所无法达到的重要特性。此外，我们的 S5-PTD 模型在 Long-Range Arena 基准上平均达到 87.6% 的准确率，证明了 PTD 方法在提升深度学习模型的准确性方面起到了积极作用。

    Oct, 2023

  • 使用平衡截断的对角状态空间层学习方法

    我们引入了一种新颖的学习方法，用于处理边缘智能应用中的长序列数据，包括传感器数据分析和实时分析，并在结构化状态空间序列模型中引入了对角状态空间层。该方法利用控制理论中常见的平衡截断技术，特别应用于对角状态空间层，以减少推理过程中的计算开销。通过利用减少模型的参数，我们改进了 S4 模型的初始化过程，在性能方面优于广泛使用的 Skew-HiPPo 初始化方法。数值实验表明，使用对角状态空间层训练的 S4 模型在准确度和效率指标上超过了传统训练的模型。此外，我们的观察结果显示了一个正向相关性：原始模型的准确度越高，使用我们的方法训练的模型的准确度也越高，这表明我们的方法有效地利用了原始模型的优势。

    Feb, 2024

  • 为长形视频理解选择性结构状态空间

    本论文提出了一种轻量级掩膜生成器的技术，采用长短掩膜对 S4 模型进行改进，从而更有效、准确地模拟视频中的长期时空依赖关系，并在三个数据集上均取得了比之前最先进的 S4 模型更高的准确性，降低了 23％的内存占用。

    Mar, 2023

  • 频谱状态空间模型

    本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势。

    Dec, 2023

  • 液体结构状态空间模型

    本文介绍了一种新的状态空间结构 Liquid-S4 ，它可以通过对状态转移矩阵的对角线及低秩分解进一步提高序列建模任务的表现，达到了 Long-Range Arena 基准测试的最新水平，并在 Speech Command 识别数据集上实现了 96.78% 的精度。

    Sep, 2022

  • 深度选择状态空间模型的理论基础

    基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。

    Feb, 2024