通过 Bayesian optimization 方案优化模型超参数，我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。

Mar, 2017

介绍一种用于处理序列学学习问题的新的多分区单元（MZU）来构建可以建模多个空间组合的转换函数的循环神经网络（RNN）。实验证明，MZU 在字符级语言建模任务和基于方面的情感分析任务的多个数据集上表现优越。

Nov, 2019

本文提出了一种简单的循环神经网络架构，即傅里叶循环单元 (FRU)，它稳定了训练中出现的梯度，同时为我们提供了更强的表现能力。具体而言，FRU 使用傅里叶基函数概括了沿时间维度的隐藏状态 $h^{(t)}$，使得由于残差学习结构和三角函数的全局支持，梯度可以轻松地到达任何层。我们还展示了 FRU 具有与时间维度无关的梯度下限和上限，以及得到 FRU 强表现力的稀疏傅里叶基的优势。我们的实验研究还表明，与其他循环架构相比，所提出的架构在许多任务上具有更少的参数且表现更好。

Mar, 2018

本文介绍了一种新型的机器理解编码器 MRU，具有多级门控、并行端到端的学习门控向量、适用于短期和长期依赖关系三个特点，为机器理解提供高效处理文档、优化模型性能、建模文档内部关系的方法。通过在三个具有挑战性的 MC 数据集上进行广泛的实验，我们证明了该编码器表现出了极具竞争力的性能表现与机器编码器和组件模块，是一种高性能状态的机器理解编码器。

Mar, 2018

本文提出了一种轻量级循环单元（SRU），用于解决基于状态计算的传统循环神经网络因难以实现高度并行化而难以扩展的问题。SRU 具有表达力强、高度可并行化、易于训练等特点，在多个自然语言处理任务上表现出色，并且在分类和问答数据集上实现了 5-9 倍的速度提升，优于 LSTM 和卷积模型。同时，将 SRU 引入到 Transformer 模型中，可以在翻译任务上平均提高 0.7 BLEU 分数。

Sep, 2017

本文提出一种名为 Recurrent Attention Unit 的循环神经网络模型，它将注意机制融入了 GRU 的内部结构中并通过增加 attention gate 提高了 GRU 对于长期记忆的能力，对于序列数据能够通过自适应选择序列的区域或位置并在学习过程中更加关注选定的区域，实验结果表明 RAU 在图像分类、情感分类和语言建模等方面均优于 GRU 和其他基线方法。

Oct, 2018

通过引入三种 MGU 模型的变种设计，本文在简化 MGU 设计的基础上降低了遗忘门动态方程的参数数量，用更少的参数实现跟 MGU 相似的准确度，在序列数据的测试上表现出优秀的性能，其中 MGU2 模型甚至比 MGU 在数据集上表现更好，能替代在递归神经网络中常用的 MGU 或 GRU 模型。

Jan, 2017

本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

Sep, 2017

通过使用 LSTM 和矩阵乘法编码单元矩阵的 unitary-evolution 循环神经网络 (URN)，成功地处理了两种类型的句法模式，这对于深度学习在自然语言处理中提高可解释性具有重要意义。

Aug, 2022

本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

Dec, 2014