卷积神经网络训练中的数据增强:对图像注入噪声
通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合,本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术,并在几个计算机视觉应用中展示了其优越性。
Oct, 2017
本文提出了一种Parametric-Noise Injection (PNI)技术,使用可训练的高斯噪声注入到神经网络的不同层中,解决min-max优化问题,通过对抗训练来提高网络的鲁棒性,实验表明该方法能有效提高对抗攻击下的网络鲁棒性。
Nov, 2018
本文研究数据增强在卷积神经网络中的隐式规则效应,与显式正则化技术(如权重衰减和Dropout)相比,数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究,我们揭示了数据增强的优势,这是长期被忽视的问题。
Jun, 2019
本文提出了一种理论框架,证明了数据增强等效于对保持数据分布近似不变的某一群轨道的平均操作,从而能够减少方差,研究了经验风险最小化、指数族、线性回归和某些双层神经网络这些领域中数据增强的应用。
Jul, 2019
利用数据增强作为正则化方式,我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题,并发现它显著降低了模型泛化误差,但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域,从而进一步提高准确性。
Sep, 2019
本研究介绍了一个多模式图像配准任务,并使用训练有素的神经网络来实现自动去噪,通过在相似输入示例的标签上进行的噪声平均效应来解释这一现象,并提出了相似度度量的定义和估计方法以进行新型的神经网络统计分析。
Feb, 2021
本文系统地综述了不同的图像数据增强方法,提出了分类学,分析了这些方法的优点和局限性,以及在三个典型的计算机视觉任务上所做的大量实验,包括语义分割,图像分类和物体检测。最后,我们讨论了数据增强面临的挑战以及未来的研究方向,以提出一些有用的研究指导。
Apr, 2022
我们提出了一种新方法,通过使用噪声注入节点来干扰系统来探究深度神经网络(DNN)的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中,而不改变优化算法。我们发现,系统在训练期间显示出不同的阶段,这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式,并将一个简单的线性模型作为测试用例。我们发现,在某些情况下,噪声节点的演变类似于未受干扰的损失,因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。
Oct, 2022
本研究探索了噪声注入与数据增强策略在改善神经网络鲁棒性和泛化能力方面的影响,通过评估各种注入噪声策略在分布内和分布外情况下对模型校准和泛化能力的影响,发现激活噪声可以有效改善模型的泛化能力,而输入数据增强噪声则可以显著提高模型在分布外的校准效果。
Jun, 2023