最近的研究表明，在自然语言建模和长期建模方面，线性递归神经网络（LRNN）取得了与 Transformer 相媲美的性能，同时提供了快速的并行训练和恒定的推断成本。通过研究 LRNN 的潜在规则学习能力，我们在理论上分析了一些现有的 LRNN，并发现它们在正则语言上存在一些限制。在分析的基础上，我们提出了一种新的 LRNN 模型，它配备了一个块对角线和输入相关的转移矩阵。实验证明，所提出的模型是唯一能够在正则语言任务（如求和、偶数对和模运算）中进行长度外推的 LRNN 模型。

Sep, 2023

通过对比具有不同模型结构的 LMs 在少量和大量数据上的表现，分析 RNNs 和 IRLMs 的性能优劣，展示 IRLMs 的一些优点与缺陷，并提出了一种基于 long-context units 的 LM 模型，通过该模型在 Microsoft Research Sentence Completion 数据上最高可以达到 60.8% 的性能。

Jan, 2013

本文介绍了一种称为 LRN 的轻量级循环神经网络，它使用输入和遗忘门来处理长时间的依赖性以及梯度消失和爆炸，并且可以作为替代现有循环单元的可落地的解决方案，该方法将计算量从循环中转移至外部，并与自我注意力网络紧密连接。通过六项自然语言处理任务的广泛实验证明，使用 LRN 能够获得最高的运行效率，而且模型性能几乎没有损失。

May, 2019

研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。

Jan, 2021

本文提出了用由修正线性单元组成的循环神经网络，并采用单位矩阵或其缩放版本来初始化循环权重矩阵来解决长期依赖性的问题，并在四个基准测试中证明了我们的解决方案与 LSTM 相当。

Apr, 2015

本研究提出了一种结合基于 signature 和 log-signature 的方法和循环神经网络的混合算法来学习流数据的功能逼近，其具有渐进复杂度低、训练速度快、精度高等优点，并在各数据集上得到了出色的准确性和鲁棒性。

Aug, 2019

本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

Jan, 2019

提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

Nov, 2023

本文研究基于随机初始化的循环神经网络（RNN）的训练和泛化，提出了两个改进：1）无需归一化条件就能学习某些显著概念类的函数；2）能够学习输入序列的 N 元函数形式 f（β^T [X_{l_1},...,X_{l_N}]），该函数类别不属于可加分概念类，当其中某个 N 或者 l_0 较小时，f 能以接近于多项式级别的迭代次数和样本数进行学习。

Sep, 2021

本研究提出了一种递归对数双线性模型，能够处理具有多种行为类型的历史序列，利用行为特定的转移矩阵，应用递归结构来建模长期上下文，使用位置特定的转移矩阵来建模短期上下文，并进一步扩展为具有时间特定转移矩阵的模型。在三个数据集上验证了所提出模型的有效性。

Aug, 2016