通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

Oct, 2017

本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

Feb, 2018

研究了高斯噪声注入对神经网络的正则化作用，发现它通过在Fourier域中惩罚具有高频成分的函数来实现正则化，可以产生具有大分类边界的校准分类器。

Jul, 2020

通过将校准误差分解为训练集的校准误差和校准泛化间隙，我们理论证明了深度神经网络在训练集上通常是校准的，校准泛化间隙受到标准泛化间隙的限制，因此具有小的泛化间隙的模型是校准的。

Oct, 2022

本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高DNN的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如Dropout或$L_2$正则化）。

Oct, 2022

该论文研究了神经网络中置信度校准的问题，并提供了校准方法的经验比较，分析了可视化和标量测量评估模型置信度校准的不同方法，并对基于后处理或对训练进行更改的现代校准技术进行了评估，实验结果覆盖了各种数据集和模型，比较了不同标准下的校准方法。

Mar, 2023

本研究分析了不同噪声模型及其强度对卷积神经网络的影响，通过结构相似度（SSIM）度量给出相同大小的噪声模型来进行比较，提出了一些新的启发式策略和建议，可以优化图像分类的最优学习过程。

Jul, 2023

通过在训练数据的特征上直接添加噪声，可以增强标签噪声下深度神经网络的泛化能力，并且通过对模型权重和特征之间的互信息施加上界来约束PAC-Bayes泛化界限，进一步确保深度神经网络在标签噪声下的有效泛化。

Aug, 2023

通过大规模数据集的预训练和下游任务的微调已经成为深度学习中的标准实践。然而，预训练数据通常包含可能对模型的泛化产生不利影响的标签噪声。本文旨在理解预训练数据中噪声的特性，并减轻其对下游任务的影响。我们通过对合成噪声的ImageNet-1K和YFCC15M数据集进行有监督预训练模型的大量实验，证明了轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。我们通过实证验证了噪声对预训练的特征空间造成不同的影响。然后，我们提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力，考虑到可能无法完全微调甚至访问预训练模型。我们对经过噪声数据预训练的热门视觉和语言模型进行了实证实验以评估我们的方法。我们的分析和结果显示出这个有趣而新颖的研究方向的重要性，我们称之为噪声模型学习。

Sep, 2023

通过模拟噪声的成像过程并将其应用于合成训练数据，评估了3D相机捕获数据中噪声的影响。通过构建特定场景的数据集，模型了侧向噪声（影响图像平面上捕获点的位置）和轴向噪声（影响垂直于图像平面的轴上的位置）。通过对渲染数据进行实验来评估添加人工噪声的附加益处，训练了一系列不同噪声水平的神经网络，并测量其在真实数据上的泛化能力。结果表明，使用过少或过多的噪声会损害网络性能，这表明从真实扫描仪获取噪声模型对于合成数据生成是有益的。

Feb, 2024