本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本研究提出一种新型的循环神经网络结构，即门控反馈循环神经网络，通过全局门控单元来控制和允许来自上层循环层到下层层的信号，改进了现有的多层循环层叠加方法，我们评估了不同类型的循环神经元，如 tanh，长短时记忆和门循环单元，在字符级语言建模和 Python 程序评估等任务上，实验证明 GF-RNN 优于传统方法构建深度堆叠循环神经网络，因为 GF-RNN 可以通过学习对这些交互进行门控从而自适应地将不同的层分配给不同的时间尺度和层间交互。

Feb, 2015

我们提出了一种实时连续控制和 “掌控” 序列生成的方法，使用一组循环神经网络和动态改变模型混合权重，并使用基于字符的长短时记忆网络和手势界面演示了该方法。

Dec, 2016

提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

Nov, 2023

本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

Dec, 2014

本文介绍了图卷积循环网络（GCRN），这是一种深度学习模型，能够预测结构化数据序列。GCRN 是经典递归神经网络（RNN）在任意图结构数据上的泛化。该模型将图上的卷积神经网络 (CNN) 与 RNN 相结合，以找出动态模式和空间结构，并将其应用于 MNIST 数据预测和 Penn Treebank 数据集的自然语言建模。实验表明，同时利用数据的图空间和动态信息可以提高精度和学习速度。

Dec, 2016

本文介绍了一种称为 LRN 的轻量级循环神经网络，它使用输入和遗忘门来处理长时间的依赖性以及梯度消失和爆炸，并且可以作为替代现有循环单元的可落地的解决方案，该方法将计算量从循环中转移至外部，并与自我注意力网络紧密连接。通过六项自然语言处理任务的广泛实验证明，使用 LRN 能够获得最高的运行效率，而且模型性能几乎没有损失。

May, 2019

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

本文提出了一种专门针对地震震中和天气预测等问题的图形卷积递归神经网络 (GCRNN) 架构，使用卷积滤波器组保持可训练参数的数量与图形尺寸和时间序列无关，并提出了 Gated GCRNNs，一种类似于 LSTM 的时间门控变体。在使用合成和实际数据进行的实验中，与 GNN 和另一种图形递归架构相比，GCRNN 显着提高了性能，同时使用的参数数量要少得多。

Mar, 2019

本篇论文介绍了一种名为 MCRM 的卷积神经网络结构，它通过嵌套 LSTM 和 GRU，重点关注于在序列建模中提高记忆储存能力。研究表明，该结构在某些任务中的表现优于传统结构。

Aug, 2018