ICMLDec, 2020

理解和提高 Frank-Wolfe 对抗训练的效率

PDF
TL;DR通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。
adversarial trainingdeep neural networksfw optimizationadversarial attacksrobustness
发现论文，激发创造
  • 一种高效且有效的对抗攻击的 Frank-Wolfe 框架

    本文提出一种基于 Frank-Wolfe 算法的新型优化算法框架，可同时用于白盒和黑盒情况下的对抗攻击，并表示该算法具有高效性、有效性和优越的性能。

    Nov, 2018

  • 频率正则化提高对抗鲁棒性

    本研究在深度神经网络安全领域提出了一种方法，即通过频率正则化和随机权重平均方法，提高 Adversarial Training 的鲁棒性，实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。

    Dec, 2022

  • 相位位移对抗训练

    本文通过对对抗训练的反应频率进行分析，发现对抗训练会导致神经网络对高频信息收敛不足。通过频率奥义所揭示的原理，我们提出了相移的对抗训练（PhaseAT），通过将高频信息转移至低频范围学习，从而显著提高了模型收敛高频信息的能力，并取得了显著的对抗鲁棒性性能提升。

    Jan, 2023

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 增强扩散以提高强健性泛化能力

    本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法，以改善 Adversarial Training 中的 generalization 问题，理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限，并通过广泛的实证调查证实了 DEAT 的优越性。

    Jun, 2023

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • F$^2$AT：通过自然和扰动模式解缠以进行特征聚焦对抗训练

    通过位平面切片将对抗性样本分解为自然和扰动模式，提出了一个特征关注的对抗性训练 (F^2AT)，使模型专注于来自自然模式的核心特征，减少扰动模式的虚假特征。实验结果表明 F^2AT 在准确性和对抗性鲁棒性方面优于现有的方法。

    Oct, 2023

  • 在对抗训练中提高最劣鲁棒性

    本文提出了一种最差类对抗训练（worst-class adversarial training）的新框架，利用无悔动态来解决对抗样本攻击的问题，旨在获得在最差情况下表现优异的分类器，并在同时仅牺牲少量平均鲁棒性。作者在各种数据集和网络上的实验证明了该方法超越了现有方法。

    Feb, 2023

  • 探究快速对抗性训练

    本文通过实验研究快速对抗训练的行为并显示其成功的关键在于从过度拟合弱攻击中恢复。我们进一步扩展了这一发现以改善快速对抗训练，展示了与强对抗训练相比更优异的鲁棒性准确性以及更短的训练时间。

    Jun, 2020