仅进行数据增强即可改善对抗训练
本文研究减轻对抗训练中的过拟合现象,使用常见的数据增强方案,证明数据增强与模型平均结合可以显著提高鲁棒性,尤其是空间组合技术的效果最佳,最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。
Nov, 2021
本文研究对抗训练的过拟合问题,提出利用数据增强和生成模型增加训练集大小,提高对抗鲁棒性,并在 CIFAR-10 数据集上取得最新成果,其中对于 Ε=8/255 的 l∞规范扰动,模型不使用外部数据时达到 64.20%的鲁棒准确性,超过了大多数先前使用外部数据的研究成果。
Mar, 2021
计算机视觉中,通过数据增强方式可以提高鲁棒性,但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高,因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。
Jun, 2019
通过融入对抗性和反对抗性扰动分布,增强样本的深度特征,适应性调整学习困难以适应每个样本的特征。同时,开发了一种基于元学习的框架,通过引入增强的效果并跳过显式的增强过程,优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验,实证结果表明该方法始终达到最先进的性能水平,突显其广泛适应性。
Apr, 2024
本文提出了一种基于敌对样本的选择性、动态并且与检测器演化相关的数据扩增方法,该方法适用于目标检测模型,能够大幅提高模型的鲁棒性和检测精度。与基于模型无关的自动增广方法相比,在不同的检测模型中,该方法表现更加广泛和稳健。
Mar, 2021
本文提出了基于信息瓶颈原理的最大熵正则化方法用于敌对数据增强,通过扩大模型预测不确定性来产生 “难” 的敌对扰动,提升模型鲁棒性,并在三个基准测试中实现了比现有技术显著的优越性能。
Oct, 2020
本文针对常见数据污染问题,探讨了对抗训练在提高精度和校准性方面比简单高斯噪声数据增强更有效的现象,并提出了新的方法 —— 基于感知图像补丁相似度的对抗训练松弛,通过实验验证此方法可以优化原有的对抗训练基础模型,同时结合数据增强策略获得更好的性能。
Mar, 2021
提出对抗数据增强方法来优化神经网络模型的训练,通过生成难度较高的增强操作来让网络进行学习,实现训练的同时进行数据增强,对人体姿势估计问题进行实验测试,证明该方法能够显著提高模型性能而不需要额外的数据增强。
May, 2018
通过使用对抗性方法,Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失,以便更快且更有效率地完成深度神经网络的训练及图像分类任务,从而将计算成本减少 12 倍,时间开销减少 11 倍,达到了最佳的实验成果。
Dec, 2019
通过评估 39 种数据增强类型对广泛使用的 OOD 数据集的影响,证明了每种数据增强对模型对 OOD 数据的鲁棒性的影响,并进一步证明了所述假设不成立;形状偏差的增加不一定导致更高的 OOD 鲁棒性。通过分析结果,还发现 ImageNet-1K 数据集中的一些偏差可以通过适当的数据增强来减小。我们的评估结果进一步表明,域内准确性和 OOD 鲁棒性之间不一定存在权衡,选择适当的增强方法可以同时提高域内准确性和 OOD 鲁棒性。
Jun, 2024