本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

我们提出了一种实时连续控制和 “掌控” 序列生成的方法，使用一组循环神经网络和动态改变模型混合权重，并使用基于字符的长短时记忆网络和手势界面演示了该方法。

Dec, 2016

该论文研究了利用 RNN 对高频交易进行序列分类的问题，通过使用有限订单薄深度和市场订单的短序列预测下一个事件价格变化，从而减少了不利价格选择的可能性，并且展示了 RNN 对有限订单薄的非线性关系的良好捕捉能力。

Jul, 2017

本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

Nov, 2016

本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在 TIMIT 语音语料库上提供了音素识别的实验结果。

Nov, 2012

近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

Sep, 2023

本文提出课程学习策略，用于训练循环神经网络，以尽量减小实际工作场景中训练和推理之间的差异，如在 MSCOCO 图片注释挑战赛中实测有效。

Jun, 2015

本文介绍了多维循环神经网络 (MDRNNs) 的概念，扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用，同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。

May, 2007

本研究发现，循环神经网络（RNNs）内置一些可以解释的组件，这些组件类似于经典的 n-gram 特征。从训练的 RNNs 中提取这些可解释的特征，用于下游情感分析任务，发现它们可以用于建模否定和强调等有趣的语言现象，并且可以充当 RNNs 总体性能的重要组成部分。此研究有望提高 RNNs 的可解释性，并为提出新的序列数据架构提供启发。

May, 2022