Feb, 2024

线性动力学嵌入神经网络用于长序列建模

PDF
TL;DR长序列建模中性能和计算效率之间的权衡成为现有模型的瓶颈，本文基于控制理论中具有多输入和多输出的连续状态空间模型（SSMs），提出了一种新型神经网络，称为线性动力学嵌入神经网络（LDNN）。通过对角化和解耦然后快速傅里叶变换（FFT）的两种高效策略，将卷积的时间复杂度从 O (LNHmax {L, N}) 降低到 O (LNmax {H, log L})，实现了 LDNN 在长序列任务中的少参数、灵活推断和高效训练。我们通过双向非因果和多头设置进一步改进了 LDNN，以适应更广泛的应用领域。对长距离竞技场（LRA）进行了大量实验证明了 LDNN 的有效性和最先进的性能。
long-sequence modelinglinear dynamics-embedded neural networkcontinuous state space modelsefficient traininglong range arena
发现论文，激发创造
  • 将循环、卷积、连续时间模型与线性状态空间层相结合

    本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

    Oct, 2021

  • 使用对角线线性递归神经网络简化和理解状态空间模型

    本文主要介绍了一种基于线性状态空间的序列模型，使用 vanilla Diagonal Linear RNNs 构建模型，并比较了该模型与 SSMs 以及 attention-based models 的表现。作者在 13 个合成序列任务中分析了不同模型的表现，结果表明该模型在一些高阶推理任务上表现良好。

    Dec, 2022

  • 在脉冲神经网络中学习长序列

    通过与时空模型的交叉研究，本文探索了脉冲神经网络在长范围序列建模方面的潜力，并证明其在各种任务和图像分类方面均优于当前最先进的神经网络模型，为在神经形态学硬件上实现高效能耗的长范围序列建模奠定了基础。

    Dec, 2023

  • 非线性嵌入线性动力神经群体模型

    提出了一种非线性生成模型 fLDS，并使用变分推断技术来拟合该模型，并在两种神经数据集上应用，与最先进的神经人口模型相比，fLDS 可用较少的潜在维度捕捉更多的神经变异，提供更好的预测性能和可解释性

    May, 2016

  • 隐空间动态网络 (LDNets): 学习时空过程内在的动力学

    对于展现时空动态响应的系统的演化进行预测是促进科学创新的关键技术，传统基于方程的方法需要大规模并行计算平台和大量的计算成本。相比之下，我们提出了一种名为 Latent Dynamics Network 的新型架构，该架构使用降维和深度学习算法来描述系统演化的低维潜在空间，从而预测空间依赖场对外部输入的时间演化，并在几个测试案例上验证了该方法的高效性和精确性。

    Apr, 2023

  • 动态网络表示的动量非负张量因式分解模型

    本文提出了一种基于动量梯度下降的非线性潜在张量因子分解模型 (MNNL)，可从高维不完整张量 (HDI) 中提取非负潜在因子，改善了传统 LFT 模型的训练问题，提高了预测准确性和收敛速度。

    May, 2023

  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024

  • 循环切换线性动态系统

    通过将数据分解为由简单动态单元解释的片段并研究这些切换的行为，我们展示了一种新的模型类型 —— 递归式切换线性动态系统，以提供更深入的洞察力，并利用近年来的算法进展在这些模型中使用近似推理使贝叶斯推理变得轻松、快速且可扩展。

    Oct, 2016

  • 卷积状态空间模型用于长程时空建模

    ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.

    Oct, 2023

  • 液体结构状态空间模型

    本文介绍了一种新的状态空间结构 Liquid-S4 ，它可以通过对状态转移矩阵的对角线及低秩分解进一步提高序列建模任务的表现，达到了 Long-Range Arena 基准测试的最新水平，并在 Speech Command 识别数据集上实现了 96.78% 的精度。

    Sep, 2022