本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

Dec, 2014

本研究提出了一种新型神经网络结构，更好地建模序列数据的长期依赖性，称之为 higher order RNNs，实验结果表明，比常规 RNNs 和 LSTMs 性能都要好，适用于各种序列模型任务。

Apr, 2016

研究线性循环网络在遵守离散时间动力学的情况下，存储可从网络瞬时状态中检索的长时间序列的能力。 计算分布式移位寄存器和随机正交连接矩阵的时间记忆容量。 随着系统规模的增大，这些网络的记忆容量呈比例关系。

Feb, 2004

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

Mar, 2021

使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

Jun, 2015

本文探讨了相关的优化问题，尝试使用梯度削减，跨越更长的时间范围，强化动量技术，使用更强大的输出概率模型，以及鼓励更稀疏的梯度来帮助对称性打破和学分分配等几个方面，以提高长序列的训练的可行性和效率。实验结果在文本和音乐数据的训练和测试误差中表现出了显著的进步。

Dec, 2012

本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

Jul, 2016

介绍一种名为 MIST RNNs 的 NARX RNN 架构，能够直接连接远处的过去，并在需要非常长期的依赖性任务中比 LSTM 和 Clockwork RNNs 表现更好，且具有更好的消失梯度特性。

Feb, 2017