本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

Jun, 2023

提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

Nov, 2023

通过引入三种 MGU 模型的变种设计，本文在简化 MGU 设计的基础上降低了遗忘门动态方程的参数数量，用更少的参数实现跟 MGU 相似的准确度，在序列数据的测试上表现出优秀的性能，其中 MGU2 模型甚至比 MGU 在数据集上表现更好，能替代在递归神经网络中常用的 MGU 或 GRU 模型。

Jan, 2017

本文介绍了一种基于 MTGRU 和时间层次结构的 seq2seq 模型，旨在解决科学文章摘要的抽象化问题，实验结果表明，与传统 RNN 编码器 - 解码器相比，该模型具有更快的训练速度和更好的性能表现，同时时间层次结构有助于改善 seq2seq 模型对于复合性的捕捉能力，而不需要高度复杂的建筑层次结构。

Jul, 2016

本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

Sep, 2017

使用水平门控循环单元层，可以取得与甚至优于当前最先进的深度学习结构相当的效果，在长空间范围内检测相互依赖的视觉特征上表现出色。

May, 2018

本文提出了一种基于层次化门控循环单元的框架，解决了对话系统中表述级情感识别面临的诸多挑战，包括同一词汇在不同上下文中可能带有不同情感、一些情感在一般对话中很少出现以及难以捕捉到长程的上下文信息等，通过在底层 GRU 模型对词汇级输入进行建模，然后在上层 GRU 模型中捕捉表述级嵌入的上下文信息来解决这些挑战，并且进一步提出了 HiGRU-f 和 HiGRU-sf 两种变体来更好地利用词 / 表述级别的信息和长程上下文信息，并在三个对话情感数据集上进行了实验，结果表明我们提出的 HiGRU 模型在每个数据集上都至少比现有的最先进方法提高了 6.0％的效果。

Apr, 2019

本文提出了一种基于递归神经网络（RNN）的新模型，它结合了单元 RNN 的记忆能力和门控 RNN 的遗忘冗余 / 无关信息的能力，并通过引入栅门机制扩展了单元 RNN。该模型能够在多项长期依赖基准任务上优于 LSTMs、GRUs 和单元 RNNs，并在多个自然顺序任务中提供有竞争力的结果，包括 bAbI 问题回答、TIMIT 音频预测、Penn TreeBank 和长期依赖的合成任务，如算法、括号、去噪和复制任务。

Jun, 2017

本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

Mar, 2018

本文通过减少更新和重置门中的参数，评估了三种变体的门控循环单元在递归神经网络中的性能。在 MNIST 和 IMDB 数据集上验证表明，这些门控循环单元的变体模型可以在降低计算成本的同时表现出与原始模型相当的性能。

Jan, 2017