理解基础模型的区别：注意力、状态空间模型和循环神经网络

May, 2024

理解基础模型的区别：注意力、状态空间模型和循环神经网络

Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks

Jerome Sieber, Carmen Amo Alonso, Alexandre Didier, Melanie N. Zeilinger, Antonio Orvieto

TL;DR基于动力系统框架的行为比较研究中，研究了基于 softmax attention、linear attention、State Space Models (SSMs) 和 Recurrent Neural Networks (RNNs) 的模型类之间的一些关键特性和条件以及它们在效率和可扩展性方面的差异。

Abstract

softmax attention is the principle backbone of foundation models for various artificial intelligence applications, yet its quadratic complexity in sequence length can limit its inference throughput in long-context settings. To address this challenge, alternative architectures such as <

softmax attention linear attention state space models (ssms)recurrent neural networks (rnns)dynamical systems framework (dsf)

发现论文，激发创造

状态空间模型作为基础模型的控制论概述

近年来，将线性状态空间模型（SSM）整合到深度神经网络架构的基础模型中的兴趣日益增长。该论文对控制理论家介绍了 SSM 基于架构，并总结了最新的研究进展，对最成功的 SSM 提案进行了系统回顾，从控制理论的角度突出了它们的主要特点。此外，我们针对用于评估模型在学习长序列方面效率的标准基准进行了这些模型的性能比较分析。

Mar, 2024

深度选择状态空间模型的理论基础

基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。

Feb, 2024

用于新一代网络替代 Transformer 的状态空间模型：概述

在这篇论文中，我们首次全面回顾了 State Space Model（SSM）作为自注意力基础的 Transformer 模型的特性和优势，并提供了实验比较和分析。此外，我们还研究了 SSM 在自然语言处理和计算机视觉等多个领域的应用，并提出了未来研究的方向，希望能推动 SSM 在理论模型和应用方面的发展。

Apr, 2024

利用差分状态框架学习更简单的语言模型

Differential State Framework (DSF) 统一了先前引入的门控神经模型， Delta-RNN 是 DSF 框架下的一种新体系，可以学习在快速变化的数据驱动表示和慢慢变化的隐含稳定状态之间插值，使长时间滞后的信息得以得以保留，性能表现优于 LSTM、GRU 等流行的复杂表现系统。

Mar, 2017

Mamba：具有选择性状态空间的线性时间序列建模

基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

时态图上的状态空间模型：第一原理研究

本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

Jun, 2024

饥饿的河马：基于状态空间模型的语言建模

通过使用合成语言建模任务，我们提出了一种新的 H3 SSM 层来弥补 SSMs 与注意力模型之间的表达能力差距，并引入 FlashConv 来提高模型在现代硬件上的训练效率并在 SuperGLUE 基准测试中优于 Transformers。

Dec, 2022

一种用于稀疏和结构化神经注意力的正则化框架

提出了一种基于平滑的最大值算子的新的稀疏和结构化的注意力机制，它不仅包括 softmax 和稀疏 max 作为特例，还可以融合现代结构惩罚，可以应用于神经网络中，在文本蕴含、机器翻译和句子摘要等任务中表现良好，提高了可解释性并保持性能优越。

May, 2017

Softmax 的优势：揭示其在线性注意力上的性能优势

通过对 softmax 和线性注意机制进行全面的比较分析，我们揭示了 softmax 注意在大多数情况下优于线性注意的潜在原因。

Oct, 2023

状态空间模型的表达能力：形式语言视角

基于线性状态空间模型的循环模型在语言建模方面表现出色，与变压器竞争力强，但对此类模型的原理能力了解甚少，因此我们提出了一项理论研究，比较了这种模型与变压器和传统循环神经网络的能力，发现它们有重叠但有区别的优势。

May, 2024