Oct, 2024

对抗训练的新范式：通过虚拟类打破准确性与健壮性之间的固有权衡

HTML
PDF
TL;DR本文针对现有对抗训练方法在准确性与健壮性之间的固有权衡问题进行研究，指出现有方法在清晰准确率上通常减少超过10%。提出了一种新颖的对抗训练范式，通过引入虚拟类缓解清晰与健壮学习之间的紧张关系，实验结果表明，所提出的DUCAT方法在CIFAR-10、CIFAR-100和Tiny-ImageNet上同时提升了清晰准确性与对抗健壮性，显著改善了现有方法的局限。
发现论文，激发创造
  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且FGSM对抗训练与PGD对抗训练效果相当。最后，我们还研究了FGSM对抗训练的“灾难性过拟合”失败模式。

    Jan, 2020

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在CIFAR-10数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 对抗训练的技巧

    本文研究了对抗训练中常常忽视的训练技巧和超参数的影响，发现对于鲁棒性的影响比以往认为的更加敏感，如微调权重衰减值可能会使模型鲁棒性下降超过7%，而与此同时，我们基于这些发现重新设计了一个基线模型并获得了目前最优的结果。

    Oct, 2020

  • 一次性全面对抗训练：在现场实现健壮性和准确性的权衡

    本文提出了Once-for-all Adversarial Training (OAT)和Once-for-all Adversarial Training and Slimming (OATS)框架，可以在不重新训练模型的情况下，调整模型在标准准确度和鲁棒准确度之间的权衡，并达到类似或超越专门训练的模型的性能。

    Oct, 2020

  • 对抗训练在对抗鲁棒性方面的最新进展

    该研究论文系统地回顾了针对深度学习模型的对抗训练在对抗鲁棒性方面的最新进展，并从三个视角讨论了对抗训练中的泛化问题，同时指出了尚未完全解决的挑战并提出潜在的未来研究方向。

    Feb, 2021

  • 对抗性训练中类别稳健性的分析和应用

    本文研究了对抗训练中的类别鲁棒性问题，提出了一种基于温度的PGD攻击方法，并对训练和推断阶段进行了改进，以降低类别鲁棒性差异。实验结果表明，该方法可以取得更高的攻击成功率。

    May, 2021

  • 在对抗训练中提高最劣鲁棒性

    本文提出了一种最差类对抗训练（worst-class adversarial training）的新框架，利用无悔动态来解决对抗样本攻击的问题，旨在获得在最差情况下表现优异的分类器，并在同时仅牺牲少量平均鲁棒性。作者在各种数据集和网络上的实验证明了该方法超越了现有方法。

    Feb, 2023

  • 对抗训练的分割原则

    对抗性示例的存在揭示了深度神经网络的基本弱点。我们的主要贡献是一种通用方法，使分类器具有显着的鲁棒性，而其自然准确性的降低仅仅是微小或可忽略的。

    Oct, 2023

  • 大规模重温对抗训练

    通过在规模上应用对抗训练，我们引入了一种名为AdvXL的高效训练策略，它能够以可承受的计算成本训练巨型模型和网络规模的数据，从而在ImageNet-1K上建立了新的鲁棒准确性记录。

    Jan, 2024

  • 对抗训练：综述

    本研究解决了对抗训练（AT）领域缺乏全面综述的问题，通过回顾近期代表性研究，总结AT的实施过程和实际应用。从数据增强、网络设计和训练配置三个角度审视AT技术，并探讨其常见挑战和未来研究方向。该工作为深入理解和应用对抗训练提供了宝贵的理论基础和研究前景。

    Oct, 2024