本文介绍了多维循环神经网络 (MDRNNs) 的概念，扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用，同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。

May, 2007

本文研究了将深度网络的多层表示与强大的RNN模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在TIMIT语音识别基准测试中获得了最佳记录得分17.7％。

Mar, 2013

本研究论文表明长短时记忆循环神经网络可以用于通过逐个预测数据点来生成具有长距离结构的复杂序列。该方法通过文本和在线手写（其中数据为实值）进行演示，然后通过允许网络对文本序列进行条件预测，将其扩展到手写合成。结果系统能够以各种风格生成高度逼真的草书手写。

Aug, 2013

本文介绍了一种基于LSTM的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的RNN和深度神经网络进行了比较。结果表明，LSTM模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

Feb, 2014

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM和BRNN等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文介绍了Grid Long Short-Term Memory，这是一种由LSTM单元组成的多维网格网络，可用于向量、序列或图像等更高维的数据。该网络在现有深度LSTM架构中的不同之处在于单元不仅在网络层之间连接，也连接在数据的时空维度上，提供了一种统一的使用LSTM进行深层次和序列计算的方法。我们将模型应用于15位整数加法和序列记忆等算法任务，发现其能够显著优于标准LSTM。我们还给出了两个实证任务的结果。2D Grid LSTM在维基百科字符预测基准测试中达到了1.47位/字符，这是神经方法中的最佳结果。此外，我们使用Grid LSTM定义了一种新的二维翻译模型Reencoder，并表明其在中英翻译任务上优于基于短语的参考系统。

Jul, 2015

本研究引入多内存单元增强标准LSTM架构，研究表明，Array-LSTM方法的随机变量能够提升字符级文本预测的性能，使Enwik8数据集表现达到1.402 BPC，并且能够建立起Enwik9和Enwik10数据集的神经网络基础结果分别为1.12 BPC和1.19 BPC。

Jul, 2016

本论文介绍了一种名为平行LSTM的RNN模型，可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明，该方法优于基线n-gram模型和最先进的LSTM方法。

Feb, 2017

该论文旨在通过从信号处理中提取概念，正式导出经典的RNN公式，揭示LSTM系统的组成部分，并将RNN转换为Vanilla LSTM网络，以便于理解和实现。在此基础上，作者提出了基于Vanilla LSTM的最新扩展，适合机器学习从业者参考和研究。

Aug, 2018

本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM)及其变体，在训练过程中解决长序列中的梯度消失/爆炸问题，并详细介绍了LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

Apr, 2023