我们提出了一种新方法，通过使用噪声注入节点来干扰系统来探究深度神经网络（DNN）的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中，而不改变优化算法。我们发现，系统在训练期间显示出不同的阶段，这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式，并将一个简单的线性模型作为测试用例。我们发现，在某些情况下，噪声节点的演变类似于未受干扰的损失，因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。

Oct, 2022

本文提出了一种 Parametric-Noise Injection (PNI) 技术，使用可训练的高斯噪声注入到神经网络的不同层中，解决 min-max 优化问题，通过对抗训练来提高网络的鲁棒性，实验表明该方法能有效提高对抗攻击下的网络鲁棒性。

Nov, 2018

本文提出了一种名为 Noisin 的新方法，通过注入随机噪声到 RNN 的隐藏状态对其进行正则化，有效避免过拟合，实验证明 Noisin 在语言建模任务上相较于 dropout 有 12.2% 的性能提升。

May, 2018

研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

Feb, 2021

通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

Oct, 2017

本文提出了一种新颖有效的正则化方法，称为分层噪声稳定性正则化 (LNSR)，其可改善在自然语言处理任务中的 fine-tuning。通过实验证明，使用 LNSR 的 fine-tuning 展现出明显的泛化和稳定性优势，并且我们的方法也显示出优于其他现有算法的优势。

Jul, 2021

通过在学习过程中采用来自预测和监督信号的均值作为监督信号的替代，我们提出了一种用于正则化隐式神经表示模型（INR）在图像去噪中的通用方法，从理论上证明这样的简单迭代替代可以逐渐增强监督信号的信噪比，从而有利于 INR 模型的学习过程，实验证明采用提出的方法可以有效地正则化 INR 模型，缓解过拟合，并提高图像去噪性能。

Jan, 2024

通过引入一种非均匀噪声注入算法，本文提出了一种同时提高对抗鲁棒性和执行效率的有效方法，实验证明该方法在多种攻击场景、模型架构和数据集上成功提升了鲁棒性和效率。

Feb, 2024

本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

Jun, 2022

研究了 RL 领域中常用的一些 regularization 技术，并提出一种名为 Selective Noise Injection（SNI）的技术，将注入噪音的正则化作用维持在一定范围内，同时缓解梯度下降的不良影响。另外还提出了结合信息瓶颈（Information Bottleneck，IB）技术和 SNI 技术的方法，在 Coinrun 普适性测试集上实现了显著的优于现有最先进的结果。

Oct, 2019