本文提出了一种轻量级循环单元（SRU），用于解决基于状态计算的传统循环神经网络因难以实现高度并行化而难以扩展的问题。SRU 具有表达力强、高度可并行化、易于训练等特点，在多个自然语言处理任务上表现出色，并且在分类和问答数据集上实现了 5-9 倍的速度提升，优于 LSTM 和卷积模型。同时，将 SRU 引入到 Transformer 模型中，可以在翻译任务上平均提高 0.7 BLEU 分数。

Sep, 2017

本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

Sep, 2017

本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

Dec, 2014

提出了一种名为 SGRU 的结构化门控循环单元，通过结构化 GRU 层和非线性单元以及多层时间嵌入来增强模型的拟合性能，在加利福尼亚四个公开交通数据集上的实验结果表明，该模型的性能优于基线模型，平均改进了 11.7％，18.6％，18.5％和 12.0％。

Apr, 2024

本文提出了一种名为 SLi-GRU 的新颖神经网络结构，通过工程机制将其训练时间缩短五倍，进行了自动语音识别任务验证，证明了相比于其他复杂的递归神经网络，此结构具有更低的词语错误率。

Feb, 2023

本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

Mar, 2018

本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

Sep, 2016

本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

Mar, 2018

本文提出了一种新的递归神经网络架构 NRU，该架构依赖于内存机制，不采用饱和激活函数和饱和门，以进一步减轻消失梯度问题，并在一系列合成和真实世界任务中证明了该模型是与其他架构相比，在具有和不具有长期依赖的所有任务中表现最佳的唯一模型。

Jan, 2019

使用连续时间分析，我们对 Gated recurrent units (GRUs) 的内部运作获得了直观的理解。我们发现了一些意想不到的动态特征，同时我们无法训练 GRU 网络产生连续的吸引子，这也是生物神经网络存在的假设。

Jun, 2019