Mar, 2017

利用差分状态框架学习更简单的语言模型

PDF
TL;DRDifferential State Framework (DSF) 统一了先前引入的门控神经模型， Delta-RNN 是 DSF 框架下的一种新体系，可以学习在快速变化的数据驱动表示和慢慢变化的隐含稳定状态之间插值，使长时间滞后的信息得以得以保留，性能表现优于 LSTM、GRU 等流行的复杂表现系统。
temporal neural modelsdifferential state frameworkdelta-rnnlanguage modelinggated neural models
发现论文，激发创造
  • 差分循环神经网络用于动作识别

    本文提出了一种差分门控 LSTM 神经网络，它采用导数来量化关键运动模式对时间序列数据的信息增益，从而提高动作识别的准确率。

    Apr, 2015

  • 深度差分循环神经网络

    使用深度可微分循环神经网络 (d2RNN) 和微分状态，对长短期记忆网络 (LSTM) 进行改进，使其能够检测连续输入数据中的空间时间动态信息，并在人类活动数据集 NUS-HGA 和 Violent-Flows 上超越了最先进的 LSTM 和非 LSTM 算法。

    Apr, 2018

  • 理解基础模型的区别：注意力、状态空间模型和循环神经网络

    基于动力系统框架的行为比较研究中，研究了基于 softmax attention、linear attention、State Space Models (SSMs) 和 Recurrent Neural Networks (RNNs) 的模型类之间的一些关键特性和条件以及它们在效率和可扩展性方面的差异。

    May, 2024

  • 门控状态空间实现的长序列语言模型

    本论文介绍了一种基于门控状态空间（GSS）的自回归序列建模方法，该方法使用自注意力来建模局部依赖关系，从而能够有效地处理长距离依赖关系，且在英语书籍、Github 源代码和 ArXiv 数学文章上的实验表明，该方法训练速度明显快于传统方法并且具有零样本推广能力。

    Jun, 2022

  • 双状态循环网络图像超分辨率

    本文提出了 Dual-State Recurrent Network (DSRN) 来进行图像超分辨率重建。与现有单状态的 SR 不同的是，DSRN 基于一种精简的序列记忆结构，在 LR 和 HR 信号两者之间进行交互记忆和信息反馈，可以有效提升 SR 的预测精度，降低内存消耗。

    May, 2018

  • 非线性嵌入线性动力神经群体模型

    提出了一种非线性生成模型 fLDS，并使用变分推断技术来拟合该模型，并在两种神经数据集上应用，与最先进的神经人口模型相比，fLDS 可用较少的潜在维度捕捉更多的神经变异，提供更好的预测性能和可解释性

    May, 2016

  • 将循环、卷积、连续时间模型与线性状态空间层相结合

    本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

    Oct, 2021

  • 带边时序动态图表示学习的循环变换器

    这篇论文提出了一个结构强化的图转换器框架，包括一种循环学习范式和显式建模边缘时间状态的方法，证明在离散动态图形表示学习方面 RDGT 优于竞争方法。

    Apr, 2023

  • 大词汇连续语音识别的深度 FSMN

    本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Phone 作为建模单元和较低帧率（LFR）进行训练时，DFSMN 的改进更为显著。此外，DFSMN 的记忆块的前瞻滤波器可以轻松地设计，以控制实时应用的延迟。

    Mar, 2018

  • 延迟记忆单元：通过延迟门建模时间依赖

    提出了一种新颖的延迟记忆单元（DMU），通过引入延迟线结构和延迟门，来增强普通 RNN 的时间建模能力，以解决梯度消失和梯度爆炸等问题，并在语音识别、雷达手势识别、心电波形分割和串联顺序图像分类等应用中展示出优越的时间建模能力。

    Oct, 2023