本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

Dec, 2014

近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

Sep, 2023

提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

Nov, 2023

该文提出了一种递归控制递归网络 (RCRN) 架构，利用递归网络学习递归门控函数，将其用于不同自然语言处理任务，结果表明 RCRN 在比双向 LSTM 和双向 LSTM 堆叠表现更好，具有代替双向 LSTM 堆叠的潜力。

Nov, 2018

本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

Sep, 2017

本文介绍了图递归神经网络 (GRNNs) 作为一种利用递归隐藏状态与图信号处理 (GSP) 相结合的学习框架，以学习来自于图处理中的时空结构。结果表明，GRNNs 在长期依赖问题上的表现优于 GNNs 和 RNNs。

Feb, 2020

通过替换传统的循环门中的乘法和 Sigmoid 函数为加法和 ReLU 激活函数，该研究提出了一种可以在更低计算成本下维持长期记忆用于序列处理的机制，从而在受限制硬件上实现更高效的执行或更大模型。此机制能够在保持较高的计算效率的同时，捕捉到序列数据的长期依赖关系，并且在 CPU 上减少了一半的执行时间，在加密环境下减少了三分之一的执行时间，实验结果表明该机制与传统的 GRU 和 LSTM 基准模型相比，能够实现可比较的准确性。同时，该机制还能避免加密变量的乘法操作，从而支持具有保护隐私的同态加密人工智能应用，并能在（非加密）明文应用中支持量化操作，潜在地带来显著的性能提升。

Aug, 2023

本文介绍了一种非常简单的门控循环神经网络，其在基于单词的语言建模任务上实现了与 LSTM 和 GRU 等著名门控架构相媲美的性能且证明了该模型具有简单、可预测和非混沌的动力学，这与传统的门控架构形成了鲜明对比。

Dec, 2016

该研究提出了一种适用于循环神经网络的门单元，名为 Minimal Gated Unit（MGU），其结构简单，可与 GRU 相媲美，但参数更少且训练更快，适用于各种序列数据应用。

Mar, 2016

本文介绍了一种称为 Independently Recurrent Neural Network 的新型递归神经网络，其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点，实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。

Mar, 2018