本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

Mar, 2018

本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

Sep, 2016

本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

Dec, 2014

通过替换传统的循环门中的乘法和 Sigmoid 函数为加法和 ReLU 激活函数，该研究提出了一种可以在更低计算成本下维持长期记忆用于序列处理的机制，从而在受限制硬件上实现更高效的执行或更大模型。此机制能够在保持较高的计算效率的同时，捕捉到序列数据的长期依赖关系，并且在 CPU 上减少了一半的执行时间，在加密环境下减少了三分之一的执行时间，实验结果表明该机制与传统的 GRU 和 LSTM 基准模型相比，能够实现可比较的准确性。同时，该机制还能避免加密变量的乘法操作，从而支持具有保护隐私的同态加密人工智能应用，并能在（非加密）明文应用中支持量化操作，潜在地带来显著的性能提升。

Aug, 2023

本研究旨在回答两个问题：a）为什么长短期记忆（LSTM）作为一种序列模型在 SPSS 中表现良好；b）哪个元素（例如，输入门，输出门，遗忘门）最重要。 通过一系列实验以及视觉分析，我们提出了一种简化的架构，比 LSTM 具有较少的参数，从而大大降低了生成一般的复杂性而不降低质量。

Jan, 2016

本文提出了一种名为 SLi-GRU 的新颖神经网络结构，通过工程机制将其训练时间缩短五倍，进行了自动语音识别任务验证，证明了相比于其他复杂的递归神经网络，此结构具有更低的词语错误率。

Feb, 2023

通过 Bayesian optimization 方案优化模型超参数，我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。

Mar, 2017

本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

Mar, 2018

本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

Feb, 2014

本文通过减少更新和重置门中的参数，评估了三种变体的门控循环单元在递归神经网络中的性能。在 MNIST 和 IMDB 数据集上验证表明，这些门控循环单元的变体模型可以在降低计算成本的同时表现出与原始模型相当的性能。

Jan, 2017