本文提出了一种轻量级循环单元（SRU），用于解决基于状态计算的传统循环神经网络因难以实现高度并行化而难以扩展的问题。SRU 具有表达力强、高度可并行化、易于训练等特点，在多个自然语言处理任务上表现出色，并且在分类和问答数据集上实现了 5-9 倍的速度提升，优于 LSTM 和卷积模型。同时，将 SRU 引入到 Transformer 模型中，可以在翻译任务上平均提高 0.7 BLEU 分数。

Sep, 2017

通过 Bayesian optimization 方案优化模型超参数，我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。

Mar, 2017

我们提出了称为 Kronecker 循环单元（KRU）的灵活的递归神经网络模型，它通过 Kronecker 分解循环矩阵实现 RNNs 的参数效率，并通过对因子施加软幺正约束克服循环矩阵的病态条件，从而克服递归神经网络过度参数化的问题。 KRU 模型可以降低递归权重矩阵中的参数数量三个数量级，而不会牺牲统计性能。

May, 2017

本研究提出 SRU ++，一种高效的结构，将快速循环和关注相结合，具有强大的建模能力和训练效率。在 Enwik8，Wiki-103 和 Billion Word 数据集上，相对于表现最佳的 Transformer 模型，我们的模型使用的训练成本要少 3x-10x，同时获得更好的 bits-per-character 和困惑度。此外，SRU ++ 具有近乎最优性能的最小化注意性要求，表明将快速循环与少量注意力相结合是加速模型训练和推理的有希望的方向。

Feb, 2021

研究了一种基于 Linear Memory Unit 的 RNN，该模型可以被并行化训练，且具有优异的性能，能够在多项基准测试中超越其他 LSTM 和 Transformer 模型，并使用更少的参数。

Feb, 2021

本文提出了一种名为 MuFuRUs 的新型多功能循环单元，它允许任意可微分函数作为组合操作，可以在不同的序列建模任务中发挥作用，包括命题逻辑公式评估、语言建模和情感分析。

Jun, 2016

通过线性变压器架构，降低预训练成本，提出了一种代价效益较高的线性变压器预训练方法 SUPRA，并在标准基准测试中取得了竞争性的性能。

May, 2024

通过使用 LSTM 和矩阵乘法编码单元矩阵的 unitary-evolution 循环神经网络 (URN)，成功地处理了两种类型的句法模式，这对于深度学习在自然语言处理中提高可解释性具有重要意义。

Aug, 2022

本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

Mar, 2018

本文提出了一种简单的循环神经网络架构，即傅里叶循环单元 (FRU)，它稳定了训练中出现的梯度，同时为我们提供了更强的表现能力。具体而言，FRU 使用傅里叶基函数概括了沿时间维度的隐藏状态 $h^{(t)}$，使得由于残差学习结构和三角函数的全局支持，梯度可以轻松地到达任何层。我们还展示了 FRU 具有与时间维度无关的梯度下限和上限，以及得到 FRU 强表现力的稀疏傅里叶基的优势。我们的实验研究还表明，与其他循环架构相比，所提出的架构在许多任务上具有更少的参数且表现更好。

Mar, 2018