课程对抗训练
本文提出一种称为自定义对抗训练(CAT)的新算法。通过自适应地定制对抗样本的扰动级别和相应的标签,CAT 算法在对抗训练中使得训练样本的多样性增强,取得了比以前的对抗训练方法更好的干净和鲁棒性能。
Feb, 2020
本文提出了一个基于因果关系的 Counterfactual Adversarial Training 框架(CAT),通过对单个样本生成对应的反事实表示,动态调整样本特有的损失权重,以此鼓励模型探索真实的因果关系,实现在句子分类、自然语言推理和问答等领域的显著性能提升。
Sep, 2021
利用对抗生成和微调的新方法来减轻计算机视觉模型中的偏见,通过使用欺骗深度神经网络但不欺骗人类的对抗图像作为反事实进行公正模型训练,通过 qualitatively 和 quantitatively 的评估证明了相比于现有方法,我们的方法实现了改进的偏见减轻和准确性。
Apr, 2024
这篇论文研究了在医学图像数据集中,由于欠拟合和过拟合现象,无法很好地工作的深度学习模型问题,并提出了一种名为 Medi-CAT 的训练策略,采用了大型预训练视觉变换器以克服欠拟合,并采用对抗性和对比性学习技术以防止过拟合,实验结果表明,相比于其他已知方法,这种方法在三个基准数据集上提高了 2% 的准确性,并且相对于基准方法提高了 4.1% 的性能。
Oct, 2023
将对抗训练应用于 ImageNet,并提出了如何将对抗训练成功扩展到大型模型和数据集的建议,发现对抗训练能增加对单步攻击方法的鲁棒性,单步攻击方法比多步攻击方法更难以传递,使其成为发动黑盒攻击的最佳选择。研究还揭示了 “标签泄漏” 效应,因为对抗样本构建过程使用真实标签,模型可以学习利用构建过程的规律,使经过对抗训练的模型在对抗示例上表现比正常示例更好。
Nov, 2016
该研究使用一个基于样本性质筛选的简化训练方法,在保持分类结果鲁棒性不变的情况下,将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。
Mar, 2023
该研究论文系统地回顾了针对深度学习模型的对抗训练在对抗鲁棒性方面的最新进展,并从三个视角讨论了对抗训练中的泛化问题,同时指出了尚未完全解决的挑战并提出潜在的未来研究方向。
Feb, 2021
通过限制像素扰动以及使用更准确的物体属性图,提出了一种非迭代的训练方法,实现了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上比现有的 AT 方法更高的鲁棒性,在对抗攻击和自然精度方面优于其他方法。
Oct, 2021
连续自适应对抗训练(ACAT)不断地将对抗训练样本整合到模型中,使用实际检测到的对抗数据,增强模型对不断演变的对抗威胁的抵抗能力,同时减轻灾难性遗忘,并降低了对抗样本检测所需的总时间。
Mar, 2024
本文研究深度学习中的对抗样本问题,总结了生成对抗样本的方法,提出了对抗样本的应用分类,并探讨了对抗样本的攻击和防御策略以及面临的挑战和潜在解决方案。
Dec, 2017