该研究提出了一种适用于循环神经网络的门单元，名为 Minimal Gated Unit（MGU），其结构简单，可与 GRU 相媲美，但参数更少且训练更快，适用于各种序列数据应用。

Mar, 2016

本文介绍了一种非常简单的门控循环神经网络，其在基于单词的语言建模任务上实现了与 LSTM 和 GRU 等著名门控架构相媲美的性能且证明了该模型具有简单、可预测和非混沌的动力学，这与传统的门控架构形成了鲜明对比。

Dec, 2016

通过添加残差连接并低秩、稀疏和量化，FastRNN 和 FastGRNN 算法在精准度与资源消耗之间取得了平衡，使 FastGRNN 在 KB 级别且极度资源受限的 IoT 微控制器上实现了准确识别语音唤醒词 ″Hey Cortana” 的目标。

Jan, 2019

本文通过 mean field 理论和随机矩阵理论的结合，解析了 recurrent neural networks 中 gating 机制的信号传播机理，并通过最小化的多层感知器网络 (minimalRNN) 与 RNN 的对比，研究了它们的训练性能。提出了初始方案的动态等角分解，并通过语言建模任务，证明了最小 RNN 可以与 LSTM 或 GRU 等复杂网络相媲美。

Jun, 2018

本文研究从深度学习模型中学习可解释结构的方法，针对门控循环神经网络内部机制不明确的问题，发现有限状态自动机具有更可解释的内部机制并提出了基于不同聚类方法的两种学习有限状态自动机的方法，在人类生命和危险领域的应用中，有限状态自动机在一定程度上可替代循环神经网络。

Oct, 2018

介绍 Skip RNN 模型，可以通过学习跳过状态更新的方式解决 RNN 在长序列上训练时梯度消失和长期依赖的困难问题，并能够减少所需的 RNN 更新次数，同时保持或提高基线 RNN 模型的性能。

Aug, 2017

本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

May, 2017

介绍一种名为 MIST RNNs 的 NARX RNN 架构，能够直接连接远处的过去，并在需要非常长期的依赖性任务中比 LSTM 和 Clockwork RNNs 表现更好，且具有更好的消失梯度特性。

Feb, 2017

研究对循环神经网络的推广能力，通过探究四种变体，包括最小门单元、长短期记忆和卷积循环神经网络，建立了 PAC-Learning 框架下的推广界限，并在额外的规范假设下建立了更加精细的推广界限，与现有结果相比，说明了这些变体在推广中的优势。

Oct, 2019

通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

Jun, 2016