本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的tanh单元更好，同时我们发现GRU与LSTM相当。

Dec, 2014

本研究提出一种新型的循环神经网络结构，即门控反馈循环神经网络，通过全局门控单元来控制和允许来自上层循环层到下层层的信号，改进了现有的多层循环层叠加方法，我们评估了不同类型的循环神经元，如tanh，长短时记忆和门循环单元，在字符级语言建模和Python程序评估等任务上，实验证明GF-RNN优于传统方法构建深度堆叠循环神经网络，因为GF-RNN可以通过学习对这些交互进行门控从而自适应地将不同的层分配给不同的时间尺度和层间交互。

Feb, 2015

本研究旨在回答两个问题：a）为什么长短期记忆（LSTM）作为一种序列模型在SPSS中表现良好；b）哪个元素（例如，输入门，输出门，遗忘门）最重要。 通过一系列实验以及视觉分析，我们提出了一种简化的架构，比LSTM具有较少的参数，从而大大降低了生成一般的复杂性而不降低质量。

Jan, 2016

本文介绍了一种非常简单的门控循环神经网络，其在基于单词的语言建模任务上实现了与LSTM和GRU等著名门控架构相媲美的性能且证明了该模型具有简单、可预测和非混沌的动力学，这与传统的门控架构形成了鲜明对比。

Dec, 2016

通过Bayesian optimization方案优化模型超参数，我们展示了统计循环单元(SRU)相比于门控循环神经网络(LSTM)和门控GRU的高效性。

Mar, 2017

本文提出了一种简化的Gated Recurrent Units架构，用于语音识别。通过去除重置门和引入ReLU激活函数，我们的实现在训练时间上提高了30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准GRU持续改善的识别性能。

Sep, 2017

本文提出一种名为Recurrent Attention Unit的循环神经网络模型，它将注意机制融入了GRU的内部结构中并通过增加attention gate提高了GRU对于长期记忆的能力，对于序列数据能够通过自适应选择序列的区域或位置并在学习过程中更加关注选定的区域，实验结果表明RAU在图像分类、情感分类和语言建模等方面均优于GRU和其他基线方法。

Oct, 2018

提出了一种称为Memory-Gated Recurrent Networks的新颖递归网络结构，用于提取复杂的多元时间序列数据中的关联性，并通过全面的模拟和实证实验证明了其应用优越性。

Dec, 2020

本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM)及其变体，在训练过程中解决长序列中的梯度消失/爆炸问题，并详细介绍了LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

Apr, 2023

提出了一种具有遗忘门的分层门控递归神经网络(HGRN)模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

Nov, 2023