本研究提出一种新型的循环神经网络结构，即门控反馈循环神经网络，通过全局门控单元来控制和允许来自上层循环层到下层层的信号，改进了现有的多层循环层叠加方法，我们评估了不同类型的循环神经元，如tanh，长短时记忆和门循环单元，在字符级语言建模和Python程序评估等任务上，实验证明GF-RNN优于传统方法构建深度堆叠循环神经网络，因为GF-RNN可以通过学习对这些交互进行门控从而自适应地将不同的层分配给不同的时间尺度和层间交互。
Feb, 2015
本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM和BRNN等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。
May, 2015
本文通过对门控单元激活值的L1正则化来解决基于注意力的RNN模型过拟合的问题，同时提高了模型的可解释性。实验证明，这种方法在多项任务中均有效，包含情感分析、释义识别和问答等。
Jun, 2015
我们提出了一种适用于前馈神经网络的简化注意力模型，并证明其可解决比这些任务的最佳出版结果更长和更广泛变化的序列长度的综合“加法”和“乘法”长期记忆问题。
Dec, 2015
本文探讨使用循环神经网络中 attention 机制解决序列到序列问题的方法，并介绍相关的应用于计算机视觉中的算法并验证其优越性，同时也提出了未来的研究方向。
Jan, 2016
该研究提出了一种适用于循环神经网络的门单元，名为Minimal Gated Unit（MGU），其结构简单，可与GRU相媲美，但参数更少且训练更快，适用于各种序列数据应用。
Mar, 2016
本文使用可视化技术研究了LSTM和GRU在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。
Sep, 2016
通过Bayesian optimization方案优化模型超参数，我们展示了统计循环单元(SRU)相比于门控循环神经网络(LSTM)和门控GRU的高效性。
Mar, 2017
该研究提出了一种新型的循环神经网络模型，即循环加权平均模型，它能够在处理符号时利用之前处理步骤的所有信息，表现强于标准LSTM模型。
本文提出了一种简化的Gated Recurrent Units架构，用于语音识别。通过去除重置门和引入ReLU激活函数，我们的实现在训练时间上提高了30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准GRU持续改善的识别性能。
Sep, 2017