快速优于免费:再探对抗训练
通过回收在更新模型参数过程中计算的渐变信息,提出了一种消除生成对抗样本开销的自由对抗训练算法,这个算法在 CIFAR-10 和 CIFAR-100 上达到了与 PGD 对抗训练相当的稳健性,其相比于自然训练的额外成本微不足道,并且可以比其他强对抗训练方法快 7 ~ 30 倍。使用单个带 4 个 P100 GPU 的工作站和 2 天运行时间,我们可以训练出针对大规模 ImageNet 分类任务的稳健模型,其对 PGD 攻击的准确率仍可保持在 40% 左右。
Apr, 2019
该研究利用弯曲正则化方法,将快速梯度符号方法(FGSM)扩展为可实现 adversarial robustness,并比 adversarial projected gradient decent 攻击方法(PGD)具有更高的训练效率。在 MNIST 数据集白盒攻击下,表现与 adv.PGD 相当,在 CIFAR-10 数据集转移攻击上表现更好。
Nov, 2020
研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign,可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
Jul, 2020
本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法,该方法通过有效的学习率调度策略显著降低了计算成本,同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明,该方法在 CIFAR-10,CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法,同时将计算成本降低了 8-10 倍,并能够改善任何经过预训练的深度神经网络的鲁棒性,而无需从头开始训练模型。
Dec, 2020
本文通过实验研究快速对抗训练的行为并显示其成功的关键在于从过度拟合弱攻击中恢复。我们进一步扩展了这一发现以改善快速对抗训练,展示了与强对抗训练相比更优异的鲁棒性准确性以及更短的训练时间。
Jun, 2020
本研究针对 Adversarial training 应用 Fast Gradient Sign Method (FGSM) 进行改进,提出了一种基于 generative network 和 target network 联合优化的 sample-dependent adversarial initialization 方案来提升模型的鲁棒性,并在四个基准数据库上进行了实验验证,结果表明该方法比现有的 Fast AT 方法更加优越。
Oct, 2021
研究了机器学习的鲁棒性,使用集中式和分散式环境进行对抗训练,结果显示比现有研究提高了 18.41% 和 47% 的准确性,并提出了独立同分布和非独立同分布数据的 IID 数据共享方法,可提高自然准确性和鲁棒准确性。
Sep, 2023
本文提出了一种快速文本对抗攻击方法,称为基于同义词替换的快速梯度投影方法(FGPM),并将其与对抗性训练相结合,提出了一种文本防御方法,称为增强型 Logit 配对的对抗性训练(ATFL),实验证明,ATFL 可以显著提高模型的稳健性并阻止对抗性示例的可转移性。
Aug, 2020
该研究使用一个基于样本性质筛选的简化训练方法,在保持分类结果鲁棒性不变的情况下,将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。
Mar, 2023