研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

Feb, 2021

本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高 DNN 的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如 Dropout 或 $L_2$ 正则化）。

Oct, 2022

本文研究了在离散序列级环境中运用数据脆化技术用于神经网络语言模型的正则化，将此与 smoothing 进行了关联研究，提出了高效的 noising scheme 并将其应用在语言建模和机器翻译中，最终通过经验证实了 noising 和 smoothing 之间的关系。

Mar, 2017

通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

Oct, 2017

提出一种新的关于循环神经网络语言模型中数据噪声的理论视角，证明了每一种数据噪声变种都是贝叶斯循环神经网络的一个实例，我们利用这个视角来提出一种更加有原则的方法，并在变分框架下提出了自然的数据噪声扩展方法，通过两个基准的语言建模数据集的实验证明了我们分析的有效性，并证明了我们的方法比现有的数据噪声方法更具实际效果。

Jan, 2019

本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

Jun, 2022

本文提出了一种名为 zoneout 的新型 RNN 正则化方法，其通过异步化一部分隐藏单元来提高模型的泛化能力，并在字符和词级语言建模的任务中获得了竞争性的结果。

Jun, 2016

研究了 RL 领域中常用的一些 regularization 技术，并提出一种名为 Selective Noise Injection（SNI）的技术，将注入噪音的正则化作用维持在一定范围内，同时缓解梯度下降的不良影响。另外还提出了结合信息瓶颈（Information Bottleneck，IB）技术和 SNI 技术的方法，在 Coinrun 普适性测试集上实现了显著的优于现有最先进的结果。

Oct, 2019

通过对 Recurrent Neural Networks 中隐藏状态范数的平方距离进行惩罚，我们稳定了激活值，这是一种有效的正则化方法，提高了字符级语言建模和音素识别性能，超越了加权噪声和 dropout 的方法

Nov, 2015

该研究介绍了一种简单的正则化技术，在循环神经网络 (RNNs) 与长短期记忆 (LSTM) 单元上应用 Dropout 可以减少不同任务中的过度拟合，包括语言建模、语音识别、图像字幕生成和机器翻译等。

Sep, 2014