该研究提出了一种适用于循环神经网络的门单元，名为Minimal Gated Unit（MGU），其结构简单，可与GRU相媲美，但参数更少且训练更快，适用于各种序列数据应用。

Mar, 2016

通过Bayesian optimization方案优化模型超参数，我们展示了统计循环单元(SRU)相比于门控循环神经网络(LSTM)和门控GRU的高效性。

Mar, 2017

本文提出了一种简化的Gated Recurrent Units架构，用于语音识别。通过去除重置门和引入ReLU激活函数，我们的实现在训练时间上提高了30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准GRU持续改善的识别性能。

Sep, 2017

本文介绍了一种基于时间的递归神经网络扩展模型，使其适用于不均匀采样的连续变量观测数据，并展示了该模型在两种工业输入/输出过程的样本中的有效性。

Nov, 2019

本文针对动态系统，提出了一种快速高效的迁移学习方法。作者首先使用可用的测量数据识别出一个名义RNN模型，然后为了应对系统动态变化导致的模型性能下降，使用Jacobian Feature Regression方法添加了一个校正项，该方法基于模型Jacobin的特征。另外还提出了一种非参数方法，扩展了最近的高斯过程与神经切向核到RNN情况，可以更加高效地处理大型网络或仅有少量数据点的情况。

Jan, 2022

本文提出了一种名为SLi-GRU的新颖神经网络结构，通过工程机制将其训练时间缩短五倍，进行了自动语音识别任务验证，证明了相比于其他复杂的递归神经网络，此结构具有更低的词语错误率。

Feb, 2023

探究使用增量输入状态稳定化深度循环神经网络来识别非线性动态系统，提出了可学习被证明为增量输入状态稳定化的LSTM模型训练方法，并在实际制动器系统的输入输出实验数据中进行测试，结果表明建立的模型性能良好。

Apr, 2023

设计了一种新颖的非线性模型预测控制策略，适用于具有增量输入输出稳定性的系统，特别适用于递归神经网络学习的系统，并应用于门控循环单元网络的控制架构，通过基于简单的代数条件实现闭环稳定和状态观察器设计。

Sep, 2023

通过训练具有门控循环单元（GRU）结构的递归神经网络（RNNs），本研究证明它们具备学习合成数据中速率状态摩擦定律复杂动力学的能力。我们的方法的一个新颖之处在于定义了损失函数，明确考虑了初始条件、直接影响和训练过程中状态变量的演化。研究发现，具有GRU结构的RNN有效地学习预测由于速度跃变而引起的摩擦系数变化，从而展示了机器学习模型在理解和模拟摩擦过程物理学方面的潜力。

Feb, 2024

递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的RNN取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的观点为解释RNN梯度学习中的一些困难以及为什么有些架构表现更好提供了新的解释。

May, 2024