本文通过 mean field 理论和随机矩阵理论的结合，解析了 recurrent neural networks 中 gating 机制的信号传播机理，并通过最小化的多层感知器网络 (minimalRNN) 与 RNN 的对比，研究了它们的训练性能。提出了初始方案的动态等角分解，并通过语言建模任务，证明了最小 RNN 可以与 LSTM 或 GRU 等复杂网络相媲美。

Jun, 2018

本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

Mar, 2018

本文介绍了一种基于无序集合表示输入和状态的新型循环神经网络结构，用于多源声源定位和跟踪，解决了排列不变问题，并将每个声源的信息表示为个别嵌入，实现了新的估计无论其次序如何都能分配到跟踪轨迹上。

Jun, 2023

在本文中，我们通过权重矩阵的特征分解提出了一种分析循环神经网络中隐藏状态空间的新视角，解释了激活函数中的信息保存功能，基于特征分析为长期依赖提供了一个解释，并指出了回归任务和分类任务中特征值的不同行为。通过对训练良好的循环神经网络进行观察，我们提出了一种改良性能的新的循环神经网络初始化方法，在多个任务上胜过 Xavier 初始化器、kaiming 初始化器以及其他仅适用于循环神经网络的初始化器，如 IRNN 和 sp-RNN。

Jul, 2023

我们研究了全连接前馈神经网络的批标准化问题，并提出了一种均值场理论。研究表明，批标准化会导致梯度爆炸，而这种爆炸无法通过调节初始权重方差或调整非线性激活函数来消除。然而，我们可以通过将网络调整到线性区域来减少梯度爆炸，从而提高网络的可训练性。此外，我们还研究了批标准化网络的学习动态。

Feb, 2019

本研究展示了使用适当的初始化方案可以简单地训练具有一万层或更多层的普通卷积神经网络，并演示了这些随机正交卷积核的生成算法以及它们实现极深网络的高效训练能力。

Jun, 2018

通过本研究，我们证明预训练网络以实现本地稳定性在复杂结构的网络中是有效的，并提出了一种称为本地稳定条件（LSC）的理论，它能最小化对数据和参数分布的假设。我们的实验结果表明，通过预训练满足 LSC 的前馈和递归网络通常能够提高最终性能。这项研究为实现任意复杂度的网络的稳定性提供了一种方法，该方法可以在大型增强数据集的预训练之前作为附加步骤，也可以作为在分析上找到稳定的初始状态的替代方法。

Aug, 2023

本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

Sep, 2017

深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

Mar, 2024

研究了 LSTM 和 NODE 在学习动态微分方程潜在空间表示方面的性能，并通过两个粘性 Burgers 方程测试验证了其在系统封闭方面的能力。

Jun, 2019