Mar, 2024

将指数平滑法纳入 MLP：一种简单而有效的序列模型

PDF
TL;DR建模序列数据中的长程依赖是序列学习中关键的一步，本研究提出了一种新模型 Structured State Space（S4），通过结构化状态空间模型在建模长程序列方面表现出了显著的有效性。与 S4 相比，本研究采用指数平滑（ETS）作为简单的状态空间模型，并将其直接融入逐元素 MLP 中，通过添加额外参数和复杂域来减少归纳偏差，虽然我们的模型仅比逐元素 MLP 增加了不到 1% 的参数，但在 LRA 基准测试上取得了可比较的结果。
long-range dependenciessequential datastructured state spacestate space modelsstacked architecture
发现论文，激发创造
  • 序列建模的简化状态空间层

    介绍了基于深度学习、HiPPO 形式和线性状态空间模型的结构化状态空间序列（S4）层，以及在其基础上引入了一种新的状态空间层 ——S5 层。与 S4 层使用多个独立的 SSM 相比，S5 层使用一个多输入、多输出的 SSM，从而实现了更高的计算效率和性能。S5 在长距离序列建模任务上达到了最新的最高性能，并使最难的 Path-X 任务的准确率达到了 98.5%。

    Aug, 2022

  • 利用结构化状态空间高效建模长序列

    提出了一种结构化状态空间序列模型（S4），它在处理长依赖序列数据方面与传统模型相比有着更好的结果，通过调整状态矩阵可以将模型计算复杂度降低，达到了 SOTA 水平。

    Oct, 2021

  • 一种混合残差扩张 LSTM 与指数平滑方法的中期电量负荷预测模型

    本研究提出了一种采用混合和分层深度学习模型进行中期负载预测的方法，该模型结合了指数平滑（ETS）、先进的长短期记忆（LSTM）和集成方法。模拟研究表明，该模型的性能非常高，竞争力强。

    Mar, 2020

  • 深度选择状态空间模型的理论基础

    基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。

    Feb, 2024

  • 在脉冲神经网络中学习长序列

    通过与时空模型的交叉研究，本文探索了脉冲神经网络在长范围序列建模方面的潜力，并证明其在各种任务和图像分类方面均优于当前最先进的神经网络模型，为在神经形态学硬件上实现高效能耗的长范围序列建模奠定了基础。

    Dec, 2023

  • 如何训练你的最高支付官员：广义正交基投影下的状态空间模型

    通过对 HiPPO 框架的一般化和直观表述，我们可以使用指数变形的 Legendre 多项式的分解，解释 S4 模型成功捕捉长范围依赖的能力，并改进 S4 的性能，达到 Long Range Arena 基准测试的 86％，路径部分（Path-X task）达到了 96％。

    Jun, 2022

  • Mamba-360：状态空间模型作为长序列建模的 Transformer 替代方案调研：方法、应用和挑战

    序列建模是跨多个领域的一个关键领域，包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上，循环神经网络（RNNs）和长短时记忆网络（LSTMs）在机器翻译、命名实体识别等序列建模任务中占主导地位，但转换器的进步改变了这一范式，因为其性能更优越。然而，转换器面临 O (N^2) 注意力复杂度和处理归纳偏差的挑战。各种改进方法已被提出来应对这些问题，其中使用频谱网络或卷积在一些任务上表现良好，但仍然难以处理长序列。状态空间模型（SSMs）已经成为此背景下序列建模范式的有希望的可替代选择，特别是随着 S4 及其变种（如 S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba 等）的出现。本综述将基于门控结构、结构体系和循环结构对基础 SSMs 进行分类，还重点介绍了 SSMs 在视觉、视频、音频、语音、语言（特别是长序列建模）、医疗（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析等领域的不同应用。此外，我们总结了 SSMs 在长序列竞技场（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2 以及早餐、硬币、LVU 等各种时间序列数据集上的性能。有关 Mamba-360 工作的项目页面可在此网页上找到：https://github.com/badripatro/mamba360。

    Apr, 2024

  • 利用简单的离散状态空间有效建模时间序列

    提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计算效率提高，并在大量不同的基准测试中取得最先进的结果。

    Mar, 2023

  • 卷积状态空间模型用于长程时空建模

    ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.

    Oct, 2023

  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024