不致死的攻击使对抗学习更强大
本文提出了一种名为 FGSM-PGK 的方法,它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能,从而解决了 catastrophic overfitting 问题。
Apr, 2023
通过在嵌入空间进行单步扰动生成和扰动初始化的研究,我们提出了一种快速对抗训练(FAT)方法,以改善模型在无同义词感知情况下的鲁棒性,实验证明 FAT 显著提高了 BERT 模型在各种攻击下的鲁棒性。
Jan, 2024
研究发现,对于一些平衡的数据集,在执行 Adversarial training algorithms 时将出现不同类别的数据准确度和鲁棒性的严重差异,因此提出了一种名为 Fair-Robust-Learning 的框架以解决这种不公平的问题,并在实验中验证了其有效性。
Oct, 2020
通过重新思考和重新定义对抗性训练的最小最大优化问题,我们提出了一种称为 HFAT 的广义对抗性训练算法。HFAT 引入了迭代演化优化策略来简化优化问题,并采用了辅助模型来揭示隐藏者,有效地结合了标准对抗性训练和隐藏者的优化方向。此外,我们还介绍了一种自适应加权机制,可以在不同的训练阶段帮助模型在对抗性示例和隐藏者之间适应地调整其关注点。我们通过大量的实验证明了我们方法的有效性,并确保 HFAT 具有更高的鲁棒性和准确性。
Dec, 2023
本文介绍针对深度学习模型的对抗攻击防御机制之一 —— 双方博弈的对抗训练。作者将学习 - to-learn 框架应用于对抗训练中,利用递归神经网络训练出更加优秀的内部优化器,同时对优化器参数和模型参数进行联合训练,从而提高了模型的鲁棒性。
Apr, 2020
本文通过实验研究快速对抗训练的行为并显示其成功的关键在于从过度拟合弱攻击中恢复。我们进一步扩展了这一发现以改善快速对抗训练,展示了与强对抗训练相比更优异的鲁棒性准确性以及更短的训练时间。
Jun, 2020
本文研究了对抗训练在提高鲁棒精度(对抗方面)的同时又有可能降低标准精度(没有对抗方面)。通过构造凸学习问题,我们发现鲁棒精度和泛化能力之间存在基本的紧张关系,而利用未标记的数据进行鲁棒自我训练可以消除这种关系。
Jun, 2019
本文提出了 Guided Adversarial Margin Attack (GAMA),该攻击能够更有效地指导对抗样本的生成;同时,使用所提出的松弛项进行对抗训练,可以提高单步防御的效果,从而达到了最先进的性能水平。
Nov, 2020
通过友好对抗样本扩充和几何感知对抗训练技术,用更少的步骤达到更强的鲁棒性,实验结果表明在两个数据集上的三种预训练语言模型中,GAT 可以在更少的步骤中获得更强的鲁棒性。
Apr, 2022