本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题,并提出了一种简单的方法,不仅可以预防此问题,而且能够在单步对抗训练中防止多步对抗攻击。
Oct, 2020
通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt,它使用简单的扭曲度量来调整训练中的攻击步数,从而提高效率而不影响鲁棒性。与其他单步方法相比,FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。
Dec, 2020
本文提出了三种防御方法来增强对多种攻击类型的鲁棒性,包括自适应防御技术 Adaptive AT,课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT,并在 UCF101 数据集上进行了实验。
Jun, 2022
本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法,以改善 Adversarial Training 中的 generalization 问题,理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限,并通过广泛的实证调查证实了 DEAT 的优越性。
Jun, 2023
本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法,该方法通过有效的学习率调度策略显著降低了计算成本,同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明,该方法在 CIFAR-10,CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法,同时将计算成本降低了 8-10 倍,并能够改善任何经过预训练的深度神经网络的鲁棒性,而无需从头开始训练模型。
本文结合噪声标签和对抗训练,提出了使用梯度下降步数作为样本选择标准来纠正噪声标签,并且确认对抗训练具有强大的平滑效果的抗噪声标签的能力,从而提高自然的准确度,表明对抗训练作为一种通用的鲁棒性学习标准的优越性。
Feb, 2021
在这项工作中,我们提出了一种利用模型的内部构建块来提高效率的方法,通过在训练过程中动态地采样轻量级子网络作为替代模型,加速前向和后向传递以实现高效的对抗训练,并通过理论分析证明了单步对抗训练和采样子网络可以提高模型的鲁棒性。相比之前的方法,我们的方法不仅减少了训练成本,而且实现了更好的模型鲁棒性。
Oct, 2023
本研究提出了一种基于潜在对抗扰动的单步对抗性训练方法,通过梯度正则化来确保性能稳定,并且与现有的基于输入空间的对抗性训练方法相比,具有更高的计算效率和更好的表现。
Apr, 2021
本文提出了一种平滑对抗训练方法 (SAT),它利用课程学习的思想对对抗训练过程进行平滑处理,提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡,具体方法基于海森矩阵的特征值以及 softmax 概率,实验结果显示该方法在 CIFAR-100 和 Imagenette 数据集上比 AT 方法显著提升了干净度与鲁棒度。
Mar, 2020
本论文提出了一种基于可学习攻击策略的敌对训练框架 LAS-AT,通过控制对抗样本的生成过程,提高模型的鲁棒性。实验结果表明,该方法优于传统手工攻击策略的方式,适用于多个基准数据库,并使用目标网络和策略网络两大部分共同实现。
Mar, 2022