- 用于视频未来预测的折叠循环神经网络
本研究介绍了双射门控循环单元，为计算机视觉中未来视频预测问题提供了一种有效的方法，能够使编码 / 解码器之间的状态共享并减少计算成本，达到了与最优方法相当的性能。
- 门控循环单元（GRU）神经网络的门控变体
本文通过减少更新和重置门中的参数，评估了三种变体的门控循环单元在递归神经网络中的性能。在 MNIST 和 IMDB 数据集上验证表明，这些门控循环单元的变体模型可以在降低计算成本的同时表现出与原始模型相当的性能。
- 一种无混沌的循环神经网络
本文介绍了一种非常简单的门控循环神经网络，其在基于单词的语言建模任务上实现了与 LSTM 和 GRU 等著名门控架构相媲美的性能且证明了该模型具有简单、可预测和非混沌的动力学，这与传统的门控架构形成了鲜明对比。
- 循环神经网络的有效量化方法
本文提出了一种量化 LSTM 和 GRU 细胞中的门和互联结构的方法以及平衡量化权重的方法，通过在 PTB 和 IMDB 数据集上的实验证明了该方法的有效性，该方法在减小存储大小和内存使用方面优于之前的量化 RNN，并且可以加速训练和推理。
- 语音识别中门控循环神经网络的记忆可视化
本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。
- 适用于递归神经网络的最小门控单元
该研究提出了一种适用于循环神经网络的门单元，名为 Minimal Gated Unit（MGU），其结构简单，可与 GRU 相媲美，但参数更少且训练更快，适用于各种序列数据应用。
- 低秩穿透神经网络
本文提出降低数据复杂度及网络内存需求的 Passthrough Networks 低秩和低秩加对角矩阵参数化方法，同时保持其记忆容量和性能，以提高模型表达能力的同时减少过拟合情况。实验结果表明，此方法在多个任务上取得了有竞争力的表现。
- NIPS循环神经网络中基于理论的 Dropout 应用
该论文介绍了一种基于变分推断的 dropout 新技术，并探讨了如何将其应用到 LSTM 和 GRU 模型中，这种方法表现优于现有技术，并在语言模型中取得了最佳结果。