Jun, 2019

插值对抗训练：在不牺牲过多准确性的情况下实现强大的神经网络

HTML
PDF
TL;DR本论文提出了一种名为 Interpolated Adversarial Training 的对抗性训练方法，它采用最近提出的基于插值的训练方法来提高对抗鲁棒性，并以 CIFAR-10 数据集为例进行了实验证明，相较传统对抗性训练方法，该方法可以在保持对抗鲁棒性的同时取得更好的泛化性能与更低的标准测试误差。
发现论文，激发创造
  • 对输入数据分布的敏感性对抗鲁棒性

    在这篇论文中，我们发现通过在输入数据分布上进行语义保持的变换可以导致Robust accuracy的大幅度变化，而clean accuracy却没有变化，这表明输入数据分布可以影响神经网络的Adversarial robustness。

    Feb, 2019

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在CIFAR-10数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 揭示对范数受限对抗样本的对抗训练极限

    探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU激活函数和模型权重平均化可以训练出强健模型，同时在CIFAR-10和CIFAR-100数据集上有了大幅度的提升。

    Oct, 2020

  • 稳健性与公平性可能相互矛盾：基于类别准确性的实证研究

    本文通过经验研究，在对抗训练的模型中发现了分类的精度和稳健性存在类间差异，包括在通常的训练模型中也存在差异。同时，本文还探讨了解决这种类间差异的可能技术和方法。

    Oct, 2020

  • 对抗性训练的向导插值方法

    本文提出了一种Guided Interpolation Framework （GIF）框架，该框架利用前一轮epoch的meta信息来引导数据插值，达到提高可攻击性数据的比例从而增强鲁棒性、减少模型各类之间的线性关系、鼓励模型在每个类别簇中不变地进行预测的目的。实验证明，GIF确实可以在各种Adversarial Training方法和各种数据集上增强对抗鲁棒性。

    Feb, 2021

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • 认证鲁棒神经网络: 泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有SOTA性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 基于扩散模型的认证对抗性容忍度提高

    使用最先进的扩散模型生成额外的训练数据可以极大地提高敌对训练的鲁棒性，该方法同样可以明显提高确定性认证防御的鲁棒性，我们还提供了一些建议来扩展认证训练方法的鲁棒性。

    May, 2023

  • 通过鲁棒临界微调改善对抗训练的泛化性能

    本研究提出了一种名为Robustness Critical Fine-Tuning (RiFT)的新方法，其核心思想是通过在非鲁棒性关键模块上进行微调，利用冗余容量来提高泛化能力而不损害对抗性鲁棒性。实验证明，该方法可以在不损害对抗鲁棒性的同时，显著改善泛化能力和超出分布鲁棒性约1.5%。

    Aug, 2023

  • 对抗训练的新范式：通过虚拟类打破准确性与健壮性之间的固有权衡

    本文针对现有对抗训练方法在准确性与健壮性之间的固有权衡问题进行研究，指出现有方法在清晰准确率上通常减少超过10%。提出了一种新颖的对抗训练范式，通过引入虚拟类缓解清晰与健壮学习之间的紧张关系，实验结果表明，所提出的DUCAT方法在CIFAR-10、CIFAR-100和Tiny-ImageNet上同时提升了清晰准确性与对抗健壮性，显著改善了现有方法的局限。

    Oct, 2024