Apr, 2019

免费的对抗训练！

PDF
TL;DR通过回收在更新模型参数过程中计算的渐变信息，提出了一种消除生成对抗样本开销的自由对抗训练算法，这个算法在 CIFAR-10 和 CIFAR-100 上达到了与 PGD 对抗训练相当的稳健性，其相比于自然训练的额外成本微不足道，并且可以比其他强对抗训练方法快 7 ~ 30 倍。使用单个带 4 个 P100 GPU 的工作站和 2 天运行时间，我们可以训练出针对大规模 ImageNet 分类任务的稳健模型，其对 PGD 攻击的准确率仍可保持在 40％ 左右。
adversarial trainingadversarial examplesrobustnessimagenetpgd attacks
发现论文，激发创造
  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • 规模化对抗机器学习

    将对抗训练应用于 ImageNet，并提出了如何将对抗训练成功扩展到大型模型和数据集的建议，发现对抗训练能增加对单步攻击方法的鲁棒性，单步攻击方法比多步攻击方法更难以传递，使其成为发动黑盒攻击的最佳选择。研究还揭示了 “标签泄漏” 效应，因为对抗样本构建过程使用真实标签，模型可以学习利用构建过程的规律，使经过对抗训练的模型在对抗示例上表现比正常示例更好。

    Nov, 2016

  • 对抗训练是否需要完整的训练数据？

    该研究使用一个基于样本性质筛选的简化训练方法，在保持分类结果鲁棒性不变的情况下，将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。

    Mar, 2023

  • 废物利用：通过对抗样本抵抗对抗样本

    通过在预先训练好的外部模型上找到敌对样本，我们将有害的攻击过程转化为有用的防御机制，并且我们的防御方法比先前的方法更为强大和经济。

    Nov, 2019

  • 图像网中鲁棒高效的干扰神经网络防御对抗攻击

    对抗性图像的存在严重影响了图像识别任务和深度学习的实际应用，本文构造了一种干扰神经网络，通过使用额外的背景图像和相应的标签以及预先训练的 ResNet-152，在较小的计算资源下实现了比 PGD 攻击下现有最先进结果更好的防御效果，为有效抵御对抗性攻击的学术研究和实际应用提供了新的思路。

    Sep, 2023

  • 探究快速对抗性训练

    本文通过实验研究快速对抗训练的行为并显示其成功的关键在于从过度拟合弱攻击中恢复。我们进一步扩展了这一发现以改善快速对抗训练，展示了与强对抗训练相比更优异的鲁棒性准确性以及更短的训练时间。

    Jun, 2020

  • 为强韧性还是为公平：走向对抗训练中的公平性

    研究发现，对于一些平衡的数据集，在执行 Adversarial training algorithms 时将出现不同类别的数据准确度和鲁棒性的严重差异，因此提出了一种名为 Fair-Robust-Learning 的框架以解决这种不公平的问题，并在实验中验证了其有效性。

    Oct, 2020

  • 神经网络的梯度对抗训练

    本文介绍一种深度学习的补充框架：梯度对抗性训练，在此框架下，作者采用辅助网络来分类并调整梯度张量以实现统一性，进而增强了对抗攻击的鲁棒性，更好地在知识蒸馏及多任务学习中表现，并充分展示了梯度信息在训练过程中的重要性。

    Jun, 2018

  • 深度防御：用改进的对抗训练训练 DNNs 提高其鲁棒性

    本文提出了一种名为 “deep defense” 的训练方法来解决深度神经网络易受到对抗样本攻击的问题，通过将对抗扰动的正则化器与分类目标相结合，得到的模型能够直接且准确地学习抵御潜在的攻击，实验证明该方法在不同数据集上对比对抗 / Parseval 正则化方法有更好的效果。

    Feb, 2018

  • 集成对抗训练：攻击和防御

    该研究论文探讨了对抗性样本及训练，以及如何生成更强的对抗性样本以提高鲁棒性，介绍了集成对抗性训练技术，并表明在 ImageNet 数据集上应用该技术可以显著提高模型的鲁棒性。

    May, 2017