Oct, 2021

Learnable Adversarial Initialization 强化快速对抗训练

PDF
TL;DR本研究针对 Adversarial training 应用 Fast Gradient Sign Method (FGSM) 进行改进，提出了一种基于 generative network 和 target network 联合优化的 sample-dependent adversarial initialization 方案来提升模型的鲁棒性，并在四个基准数据库上进行了实验验证，结果表明该方法比现有的 Fast AT 方法更加优越。
adversarial trainingrobustnessfast atgradientgenerative network
发现论文，激发创造
  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • 利用先验信息引导的对抗性初始化进行快速对抗训练

    本文针对快速对抗训练 (FAT) 出现的过拟合现象进行了研究，提出了一种基于先验引导的快速梯度符号方法 (FGSM) 初始化策略和正则化方法，有效预防了过拟合，提高了对抗训练的效率。实验结果表明该方法优于现有的同类方法。

    Jul, 2022

  • 快速对抗训练的理解与改进

    研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。

    Jul, 2020

  • 理解和提高 Frank-Wolfe 对抗训练的效率

    通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

    Dec, 2020

  • 通过领域适应来提高对抗训练的泛化能力

    该论文提出了一种新的对抗训练方法 ATDA，采用有限数量的目标域样本进行域自适应，以提高模型的泛化性，经过实证研究，该方法在标准基准数据集上的性能优于现有方法。同时，扩展到迭代攻击的对抗训练也取得了显著的进展。

    Oct, 2018

  • 利用先验引导知识改进快速对抗训练

    本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic overfitting 问题。

    Apr, 2023

  • 仅需简单微调：通过对抗微调实现鲁棒深度学习

    本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

    Dec, 2020

  • 对抗变换网络：学习生成对抗性样本

    本文提出了一种名为对抗变换网络（ATN）的新方法，其快速执行并提供出色的输出多样性，并在多个分类器上分析了其有效性。该方法旨在通过对简陋的模拟数据进行自我监督训练，生成最小化修改分类器输出的对抗性示例，同时限制新分类器以匹配对抗性目标类别。

    Mar, 2017

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • 黑铁匠：通过混合单步和多步方法实现视觉 Transformer 的快速对抗训练

    我们提出了一种名为 Blacksmith 的新训练策略，用于解决深度学习算法中的 Catastrophic Overfitting 问题，尤其适用于 Vision Transformers。通过在神经网络的对抗训练中随机使用 PGD-2 或 Fast Gradient Sign Method (FGSM) 攻击，我们的方法有效地防止 Catastrophic Overfitting，并且在性能上超越了其他现有技术。

    Oct, 2023