本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

Mar, 2013

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络，证明其对于隐藏状态的梯度具有精确的上限，解决了梯度问题，实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能，达到了现有技术水平。

Oct, 2020

本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

Mar, 2021

本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

Jun, 2023

我们通过提出分层 RNN 体系结构，提高了基于字符级语言模型的溢出词建模的性能。在 One Billion Word Benchmark 上，我们的 CLM 模型比 Kneser-Ney 5 元语言模型表现更好，同时参数却只有 2%。我们在 WSJ 语料库上展示了对话识别示例，并将传统的 RNN CLMs 替换为所提出的模型，即使参数数量减少了 30％，精度也有所提高。

Sep, 2016

该论文介绍利用深度 LSTM 循环神经网络、CD 电话建模、帧叠加与减少帧率等技术来提高语音识别准确率的研究，并探讨了直接输出单词的 LSTM RNN 模型的初步结果。

Jul, 2015

本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

Nov, 2016

该文提出了一种递归控制递归网络 (RCRN) 架构，利用递归网络学习递归门控函数，将其用于不同自然语言处理任务，结果表明 RCRN 在比双向 LSTM 和双向 LSTM 堆叠表现更好，具有代替双向 LSTM 堆叠的潜力。

Nov, 2018