本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。
May, 2015
提出了一种新的序列级训练算法，使自然语言处理应用程序使用的语言模型在生成文本时更加强大和高效。这种方法能够直接优化在测试期间使用的指标，并且在三个不同的任务中，我们的方法优于其他几种基准方法。同时，在其他基准方法使用波束搜索时，我们的方法也具有竞争力，而且速度快几倍。
Nov, 2015
本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。
本研究论文表明长短时记忆循环神经网络可以用于通过逐个预测数据点来生成具有长距离结构的复杂序列。该方法通过文本和在线手写（其中数据为实值）进行演示，然后通过允许网络对文本序列进行条件预测，将其扩展到手写合成。结果系统能够以各种风格生成高度逼真的草书手写。
Aug, 2013
本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在 TIMIT 语音语料库上提供了音素识别的实验结果。
Nov, 2012
通过训练反向递归神经网络帮助正向模型预测长期未来信息，该方法可以提高生成递归神经网络的生成能力和语音识别和 COCO 字幕生成任务的性能。
Aug, 2017
本文介绍了一种使用强化学习中的 Actor-Critic 方法来训练神经网络生成序列的方法，利用 Critic 网络来预测输出 token 的值，使得我们可以直接优化诸如 BLEU 等任务特定分数，实现了在监督学习环境下条件 Critic 网络的优化，从而在德语 - 英语机器翻译任务和一些自然语言生成任务中表现出更好的性能。
Jul, 2016
本研究提出了一种名为增强解码器的新型训练方法，通过引入辅助模型生成备用解码器输入来解决多步骤时间序列预测中的累积误差问题，并利用强化学习算法动态选择最优输入以提高准确性。综合实验表明，该方法在多个数据集上优于常见训练方法。此外，该方法在基于自注意力的序列到序列预测模型中同样表现良好。
Jun, 2024
通过引入循环神经网络 (RNN) 的回归结构，直接建模用户序列行为依赖，从而提高点击预测准确性。
Apr, 2014
本研究介绍了双射门控循环单元，为计算机视觉中未来视频预测问题提供了一种有效的方法，能够使编码 / 解码器之间的状态共享并减少计算成本，达到了与最优方法相当的性能。
Dec, 2017