Nov, 2020

FGSM 和 PGD 对抗训练之间性能差距的缩小

PDF
TL;DR该研究利用弯曲正则化方法，将快速梯度符号方法（FGSM）扩展为可实现 adversarial robustness，并比 adversarial projected gradient decent 攻击方法（PGD）具有更高的训练效率。在 MNIST 数据集白盒攻击下，表现与 adv.PGD 相当，在 CIFAR-10 数据集转移攻击上表现更好。
adversarial trainingdeep learningadversarial robustnessfast gradient sign methodcurvature regularization
发现论文，激发创造
  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • 稳健过拟合问题的重要性：FGSM 测试时的敌对净化

    我们提出了一种基于深度神经网络的测试时间像素级对抗净化（TPAP）方法，通过对训练和测试数据集上的快速梯度符号方法（FGSM）进行对抗净化，以提高 DNN 对各种未知对抗攻击的防御能力，实验证实我们的方法可以显著改善 DNN 的整体鲁棒泛化性能。

    Mar, 2024

  • MIXPGD: 语音识别系统的混合对抗训练

    本文提出 mixPGD 对抗训练方法以提高基于深度神经网络的自动语音识别系统的鲁棒性，实验表明该方法比以前的最佳模型在白盒对抗攻击设置下性能提高了 4.1％WER，并且在黑盒攻击设置下也表现出一定的防御能力。

    Mar, 2023

  • 快速对抗训练的理解与改进

    研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。

    Jul, 2020

  • 减少梯度逼近的对抗训练成本

    采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。

    Sep, 2023

  • SegPGD：一种有效且高效的对抗攻击方法，用于评估和增强分割鲁棒性

    本文讨论了利用 SegPGD 进行语义分割的有效攻击和防御方法，并提出了一种更有效和高效的对抗训练机制，可以增强基于语义分割的模型的鲁棒性。

    Jul, 2022

  • 神经检索的 FGSM 对抗训练研究

    本文针对神经检索模型易受打字错误、分布偏移和恶意攻击的问题，研究了对抗训练作为提高模型鲁棒性的可能解决方案之一。研究中采用了两种主要类型的 BERT-based 神经检索模型，并表明最简单的对抗训练技术 Fast Gradient Sign Method (FGSM) 可以提高模型的鲁棒性和效果。

    Jan, 2023

  • 对抗训练的收敛性和鲁棒性

    本文提出了一种用于评估内部最大值的解决方法 ——FOSC，以量化评估在内部最大化期间找到的对抗性例子的收敛质量，结果表明，在训练后期使用收敛质量更好的对抗性例子是确保更好的稳健性所必需的，而在训练初期，高收敛质量的对抗性例子则并不是必需的，甚至可能导致差的鲁棒性，因此，我们提出了一种渐进式的动态训练策略，逐步提高生成的对抗性例子的收敛质量，从而显著提高了对抗训练的鲁棒性。

    Dec, 2021

  • 集成对抗攻击的高效项目梯度下降

    本文介绍了对抗性样本攻击中的两种方法：PGD 方法和 C&W 方法，针对集成模型的攻击，主张使用改进型 PGD 方法达到更高的攻击效率。

    Jun, 2019

  • 通过对抗性训练提高机器学习的稳健性

    研究了机器学习的鲁棒性，使用集中式和分散式环境进行对抗训练，结果显示比现有研究提高了 18.41% 和 47% 的准确性，并提出了独立同分布和非独立同分布数据的 IID 数据共享方法，可提高自然准确性和鲁棒准确性。

    Sep, 2023