噪声增强的快速对抗训练:RandStart 和 GradAlign 的统一视角
本文重访了单步对抗训练中噪声与剪辑的角色,发现使用强噪声结合不剪辑非常有效地避免了大扰动半径下的灾难性过拟合,提出了 Noise-FGSM (N-FGSM),实验结果表明 N-FGSM 能达到甚至超过之前的 GradAlign,同时提高了 3 倍的速度。
Feb, 2022
研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign,可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
Jul, 2020
本研究针对 Adversarial training 应用 Fast Gradient Sign Method (FGSM) 进行改进,提出了一种基于 generative network 和 target network 联合优化的 sample-dependent adversarial initialization 方案来提升模型的鲁棒性,并在四个基准数据库上进行了实验验证,结果表明该方法比现有的 Fast AT 方法更加优越。
Oct, 2021
该研究利用弯曲正则化方法,将快速梯度符号方法(FGSM)扩展为可实现 adversarial robustness,并比 adversarial projected gradient decent 攻击方法(PGD)具有更高的训练效率。在 MNIST 数据集白盒攻击下,表现与 adv.PGD 相当,在 CIFAR-10 数据集转移攻击上表现更好。
Nov, 2020
本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法,该方法通过有效的学习率调度策略显著降低了计算成本,同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明,该方法在 CIFAR-10,CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法,同时将计算成本降低了 8-10 倍,并能够改善任何经过预训练的深度神经网络的鲁棒性,而无需从头开始训练模型。
Dec, 2020
通过使用快速梯度符号方法(FGSM)来作为对抗样本的构造方法,使得对抗训练的代价不比标准训练更高,而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后,我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。
Jan, 2020
本文结合噪声标签和对抗训练,提出了使用梯度下降步数作为样本选择标准来纠正噪声标签,并且确认对抗训练具有强大的平滑效果的抗噪声标签的能力,从而提高自然的准确度,表明对抗训练作为一种通用的鲁棒性学习标准的优越性。
Feb, 2021
我们提出了一种名为 Blacksmith 的新训练策略,用于解决深度学习算法中的 Catastrophic Overfitting 问题,尤其适用于 Vision Transformers。通过在神经网络的对抗训练中随机使用 PGD-2 或 Fast Gradient Sign Method (FGSM) 攻击,我们的方法有效地防止 Catastrophic Overfitting,并且在性能上超越了其他现有技术。
Oct, 2023
提出了一种新的对抗数据增强方法 PGADA 和正则化的最优输运平面方法,用于解决 Few-Shot Learning 中由于支持集和查询集之间的分布偏移导致的模型性能下降问题。实验表明,该方法在三个基准数据集上显著优于当前最先进的方法。
May, 2022
本文从优化过程的角度和深度学习模型的尺度不变性出发,提出了两种新的方法来改善对抗样本的传递性,并演示这些攻击方法对抗网络防御模型的高攻击成功率。
Aug, 2019