循环高速公路网络
本研究提出了一种新型神经网络结构，更好地建模序列数据的长期依赖性，称之为 higher order RNNs，实验结果表明，比常规 RNNs 和 LSTMs 性能都要好，适用于各种序列模型任务。
Apr, 2016
本文提出了基于深度循环神经网络的新方法，称为 Recurrent Transition Network（RTN），可以自动生成过渡动画，并通过添加本地地形表示将其变地形感知，从而产生更好的效果。此外，还探讨了在动画超分辨率设置中的应用，结果显示该网络能够重构很难与未压缩的运动序列区分的动作。
Oct, 2018
本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。
Feb, 2016
本文探讨了将递归神经网络扩展为深层递归神经网络的不同方法，通过分析其结构，提出了两种新的深层递归神经网络结构，并使用基于神经运算符的新框架进行了实验证明了这些深层递归神经网络在多声部音乐预测和语言建模方面的优越性。
Dec, 2013
提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。
Nov, 2023
本文提出了一种基于高阶循环神经网络 (HORNN) 的方法来解决训练标准循环神经网络 (RNN) 中的梯度消失问题，并通过使用 MGB3 数据集进行语音识别实验，证明了该方法可以显著减少字词错误率，同时使用仅为网络参数数目和计算量的 20%-50%。
Feb, 2018
本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。
May, 2015
本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式，证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势，并通过量子张量网络的工具获取了更多的图形洞见。
Oct, 2017