Jul, 2024

缓解低频偏差：特征再校准和频率注意力规范化对抗鲁棒性

PDF
TL;DR本文提出了一种名为高频特征解缠和重新校准（HFDR）的新型模块，将特征分离为高频和低频部分，并重新校准高频特征以捕捉潜在有用的语义信息。此外，我们引入频率注意力正则化来调节模型对不同频率特征的提取，并缓解了对低频特征的偏见。通过大量实验，展示了我们的方法在抵抗各种白盒攻击、转移攻击和表现出强大的泛化能力方面的巨大潜力和优越性。
发现论文，激发创造
  • 频率正则化提高对抗鲁棒性

    本研究在深度神经网络安全领域提出了一种方法，即通过频率正则化和随机权重平均方法，提高 Adversarial Training 的鲁棒性，实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。

    Dec, 2022

  • 构建更稳健的模型：频率偏差

    该研究针对深度神经网络在对抗样本上的脆弱性，提出了一种名为频率偏好控制模块的插件，它能够自适应地重新配置中间特征表示的低频和高频成分，以更好地利用频率进行鲁棒学习。实证研究表明，这种模块可以轻松地与任何对抗训练框架相结合，在不同体系结构和数据集上进一步提高模型的鲁棒性。此外，还进行了实验，以检验鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性，并揭示了有趣的见解。

    Jul, 2023

  • 频率偏差如何影响神经图像分类器对于常见干扰及对抗扰动的鲁棒性？

    本研究提出通过 Jacobian 频率正则化方法对深度学习模型频率偏差与鲁棒性之间的直接关系进行研究，实验证明偏向低（高）频分量能够提高分类器对高（低）频污染和对抗扰动的鲁棒性，但在低（高）频污染的性能方面存在折衷。

    May, 2022

  • 相位位移对抗训练

    本文通过对对抗训练的反应频率进行分析，发现对抗训练会导致神经网络对高频信息收敛不足。通过频率奥义所揭示的原理，我们提出了相移的对抗训练（PhaseAT），通过将高频信息转移至低频范围学习，从而显著提高了模型收敛高频信息的能力，并取得了显著的对抗鲁棒性性能提升。

    Jan, 2023

  • 频率驱动的对抗样本的一种新视角

    通过对频域内对抗扰动的详细频率分析，我们的研究表明低频带的高频部分中存在显著的对抗扰动，并基于此提出了一种基于不同频率带组合的黑盒对抗攻击算法，可显著提高攻击效率。实验结果显示平均攻击成功率达到 99％，超过使用单一频率段的攻击。此外，我们引入了归一化扰动可见性指数，为评估连续和离散扰动的 $L_2$ 范数的局限性提供了解决方案。

    Apr, 2024

  • 通过特征混合和元学习探索频率以提高对抗迁移性

    深度神经网络容易受到对抗攻击，本研究通过频率分解的特征融合方法和跨频率元优化方法，提高对正常训练模型和防御模型的攻击传递能力。

    May, 2024

  • 通过抑制高频成分进行对抗性防御

    该研究通过去除高频分量训练出具有鲁棒性的图像分类模型，并在 IJCAI-2019 阿里巴巴对抗 AI 挑战中获得了第五名。

    Aug, 2019

  • 基于频率的鲁棒卷积神经网络解释方法

    本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。

    May, 2020

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 低频扰动的有效性探究

    系统地控制扰动的频率分量，通过对 NeurIPS 2017 竞赛中排名靠前的防御提交的评估，我们在黑盒和白盒转移设置下实验证明，只有保留低频分量时，才会出现性能提高，事实上，基于对抗训练的防御模型对于低频扰动的漏洞与未经防护的模型相当，这种漏洞暗示了高频对抗扰动是高阶失真测量标准引人质疑的。

    Feb, 2019