数据增强能提高稳健性
本文研究对抗训练的过拟合问题,提出利用数据增强和生成模型增加训练集大小,提高对抗鲁棒性,并在 CIFAR-10 数据集上取得最新成果,其中对于 Ε=8/255 的 l∞规范扰动,模型不使用外部数据时达到 64.20%的鲁棒准确性,超过了大多数先前使用外部数据的研究成果。
Mar, 2021
本文证明了,与先前的研究相反,仅凭借数据增强,可以显着提高对抗训练的准确性和鲁棒性,数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案,并通过实验验证,达到了对抗训练中数据增强的最佳效果。
Jan, 2023
本文探讨了如何使用仅基于原始训练集的生成模型来人为地增加原始训练集的大小并提高对扰动的鲁棒性,并证明了即使添加非现实的随机数据也可以提高鲁棒性。在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上进行了大量的绝对准确度改进,对于常见扰动的数据集,本文方法的结果优于大多数使用外部数据的先前工作。
Oct, 2021
本文针对常见数据污染问题,探讨了对抗训练在提高精度和校准性方面比简单高斯噪声数据增强更有效的现象,并提出了新的方法 —— 基于感知图像补丁相似度的对抗训练松弛,通过实验验证此方法可以优化原有的对抗训练基础模型,同时结合数据增强策略获得更好的性能。
Mar, 2021
探索对抗训练的极限,发现了通过结合更大的模型、Swish/SiLU 激活函数和模型权重平均化可以训练出强健模型,同时在 CIFAR-10 和 CIFAR-100 数据集上有了大幅度的提升。
Oct, 2020
计算机视觉中,通过数据增强方式可以提高鲁棒性,但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高,因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。
Jun, 2019
通过融入对抗性和反对抗性扰动分布,增强样本的深度特征,适应性调整学习困难以适应每个样本的特征。同时,开发了一种基于元学习的框架,通过引入增强的效果并跳过显式的增强过程,优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验,实证结果表明该方法始终达到最先进的性能水平,突显其广泛适应性。
Apr, 2024
针对现代机器学习模型易受到对人类不可察觉的攻击的问题,采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差,此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距,此现象也出现在线性回归模型中。
Feb, 2020
本文提出了一种网络权重初始化的方法,使其能够在更高噪声水平下学习,同时评估了在 MNIST 和 CIFAR10 数据集上增强对抗噪声对学习范围的影响,并通过对简单多维伯努利分布的理论结果进行研究,提出了一些关于 MNIST 数据集可行扰动范围的见解。
Mar, 2020
针对对抗样本的防御,如对抗训练,通常针对单个干扰类型(例如小的 l∞- 噪声),对于其它类型的干扰,这些防御没有保障,甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因,并训练同时对多种扰动类型具有鲁棒性的模型。
Apr, 2019