频谱状态空间模型

Dec, 2023

Spectral State Space Models

Naman Agarwal, Daniel Suo, Xinyi Chen, Elad Hazan

TL;DR本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势。

Abstract

This paper studies sequence modeling for prediction tasks with long range dependencies. We propose a new formulation for state space models

sequence modeling prediction tasks long range dependencies state space models spectral filtering algorithm

发现论文，激发创造

层级状态空间模型用于连续序列到序列建模

基于原始感官数据的推理是一个普遍存在的问题，本研究提出了一种基于分层状态空间模型（HiSS）的新技术，用于连续的序列预测，并在六个真实传感器数据集上展示了其优越性。

Feb, 2024

利用结构化状态空间高效建模长序列

提出了一种结构化状态空间序列模型（S4），它在处理长依赖序列数据方面与传统模型相比有着更好的结果，通过调整状态矩阵可以将模型计算复杂度降低，达到了 SOTA 水平。

Oct, 2021

长序列处理中的状态空间建模：对 Transformer 时代中的循环的调查

对基于循环模型的顺序数据处理的最新方法进行了深入总结，并提供了关于体系结构和算法解决方案的完整分类，引导研究者在这一吸引人的研究领域进行进一步研究。

Jun, 2024

Mamba-360：状态空间模型作为长序列建模的 Transformer 替代方案调研：方法、应用和挑战

序列建模是跨多个领域的一个关键领域，包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上，循环神经网络（RNNs）和长短时记忆网络（LSTMs）在机器翻译、命名实体识别等序列建模任务中占主导地位，但转换器的进步改变了这一范式，因为其性能更优越。然而，转换器面临 O (N^2) 注意力复杂度和处理归纳偏差的挑战。各种改进方法已被提出来应对这些问题，其中使用频谱网络或卷积在一些任务上表现良好，但仍然难以处理长序列。状态空间模型（SSMs）已经成为此背景下序列建模范式的有希望的可替代选择，特别是随着 S4 及其变种（如 S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba 等）的出现。本综述将基于门控结构、结构体系和循环结构对基础 SSMs 进行分类，还重点介绍了 SSMs 在视觉、视频、音频、语音、语言（特别是长序列建模）、医疗（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析等领域的不同应用。此外，我们总结了 SSMs 在长序列竞技场（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2 以及早餐、硬币、LVU 等各种时间序列数据集上的性能。有关 Mamba-360 工作的项目页面可在此网页上找到：https://github.com/badripatro/mamba360。

Apr, 2024

时态图上的状态空间模型：第一原理研究

本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

Jun, 2024

对角状态空间与结构状态空间同样有效

本研究旨在探索长序列数据中的长程依赖性，评估 S4 和 DSS 模型在多种模态下的性能提升，并针对包括 Long Range Arena 任务和语音分类在内的不同任务进行了性能测试。结果表明，在某些任务上 DSS 模型的表现可媲美 S4 模型，且实现方式更为直接简单。

Mar, 2022

门控状态空间实现的长序列语言模型

本论文介绍了一种基于门控状态空间（GSS）的自回归序列建模方法，该方法使用自注意力来建模局部依赖关系，从而能够有效地处理长距离依赖关系，且在英语书籍、Github 源代码和 ArXiv 数学文章上的实验表明，该方法训练速度明显快于传统方法并且具有零样本推广能力。

Jun, 2022

一般线性动力学系统的频谱过滤

本研究介绍了一种用于学习具有隐状态的线性动态系统的多项式时间算法，该算法无需对系统的转移矩阵的谱半径作出假设并且采用新颖的凸松弛技术扩展了之前仅适用于具有对称转移矩阵的谱过滤技术，以实现相位的高效识别。

Feb, 2018

通过谱滤波学习线性动态系统

本文介绍了一种有效且实用的在线预测离散线性动态系统的算法，通过过参数化多项式对 LDS 的类别进行替代的方式，以获得损失函数的凸性，从而绕过了非凸最优化问题，并基于一种新颖的滤波技术进行了算法的构建。

Nov, 2017

卷积状态空间模型用于长程时空建模

ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.

Oct, 2023