Oct, 2023

延迟记忆单元：通过延迟门建模时间依赖

PDF
TL;DR提出了一种新颖的延迟记忆单元（DMU），通过引入延迟线结构和延迟门，来增强普通 RNN 的时间建模能力，以解决梯度消失和梯度爆炸等问题，并在语音识别、雷达手势识别、心电波形分割和串联顺序图像分类等应用中展示出优越的时间建模能力。
recurrent neural networksdelaymemory unittemporal modelinggated rnns
发现论文，激发创造
  • 树状记忆网络用于建模长期时间依赖关系

    提出了一种基于树形记忆网络的序列映射模型，用于捕获长期和短期依赖关系，并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。

    Mar, 2017

  • Legendre Memory Unit 训练并行化

    研究了一种基于 Linear Memory Unit 的 RNN，该模型可以被并行化训练，且具有优异的性能，能够在多项基准测试中超越其他 LSTM 和 Transformer 模型，并使用更少的参数。

    Feb, 2021

  • 深度差分循环神经网络

    使用深度可微分循环神经网络 (d2RNN) 和微分状态，对长短期记忆网络 (LSTM) 进行改进，使其能够检测连续输入数据中的空间时间动态信息，并在人类活动数据集 NUS-HGA 和 Violent-Flows 上超越了最先进的 LSTM 和非 LSTM 算法。

    Apr, 2018

  • 适用于递归神经网络的最小门控单元

    该研究提出了一种适用于循环神经网络的门单元，名为 Minimal Gated Unit（MGU），其结构简单，可与 GRU 相媲美，但参数更少且训练更快，适用于各种序列数据应用。

    Mar, 2016

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 面向建模长期依赖的非饱和循环单元

    本文提出了一种新的递归神经网络架构 NRU，该架构依赖于内存机制，不采用饱和激活函数和饱和门，以进一步减轻消失梯度问题，并在一系列合成和真实世界任务中证明了该模型是与其他架构相比，在具有和不具有长期依赖的所有任务中表现最佳的唯一模型。

    Jan, 2019

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 差分循环神经网络用于动作识别

    本文提出了一种差分门控 LSTM 神经网络，它采用导数来量化关键运动模式对时间序列数据的信息增益，从而提高动作识别的准确率。

    Apr, 2015

  • 循环注意力单元

    本文提出一种名为 Recurrent Attention Unit 的循环神经网络模型，它将注意机制融入了 GRU 的内部结构中并通过增加 attention gate 提高了 GRU 对于长期记忆的能力，对于序列数据能够通过自适应选择序列的区域或位置并在学习过程中更加关注选定的区域，实验结果表明 RAU 在图像分类、情感分类和语言建模等方面均优于 GRU 和其他基线方法。

    Oct, 2018