本文提出了一种名为 Noisin 的新方法，通过注入随机噪声到 RNN 的隐藏状态对其进行正则化，有效避免过拟合，实验证明 Noisin 在语言建模任务上相较于 dropout 有 12.2% 的性能提升。

May, 2018

本文研究了循环神经网络在数据驱动下的噪声动力学系统模拟行为，训练了一组 LSTM 网络，发现在训练噪声变大时，LSTM 更多地依赖其自主动力学而不是噪声输入数据。

Apr, 2019

我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

Jun, 2024

本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高 DNN 的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如 Dropout 或 $L_2$ 正则化）。

Oct, 2022

本文提出了基于贝叶斯学习的算法，通过引入随机梯度 Markov Chain Monte Carlo 的思想对 RNN 模型进行权重不确定性学习，从而提高模型在各个任务上的表现。

Nov, 2016

本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

Dec, 2018

通过使用一种被称为状态规范化的机制来处理以前递归神经网络（RNNs）的不足，从而提高 RNNs 的状态转移动态分析和解释性，并将其应用于自动机抽取，自然语言处理和计算机视觉中。

Jan, 2019

通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

Oct, 2017

我们提出了一种新方法，通过使用噪声注入节点来干扰系统来探究深度神经网络（DNN）的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中，而不改变优化算法。我们发现，系统在训练期间显示出不同的阶段，这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式，并将一个简单的线性模型作为测试用例。我们发现，在某些情况下，噪声节点的演变类似于未受干扰的损失，因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。

Oct, 2022

在超参数化的情况下研究了一类噪声梯度下降系统的极限动力学。研究发现，噪声的结构不仅影响极限过程的形式，还影响演化的时间尺度。应用该理论比较了 Dropout、标签噪声和经典 SGD（小批量）噪声的演化过程，发现它们在不同的两个时间尺度上演化。这些研究结果受到神经网络训练的启发，但定理适用于任何具有非平凡零损失集的噪声梯度下降。

Apr, 2024