构建更稳健的模型：频率偏差

ICCVJul, 2023

Towards Building More Robust Models with Frequency Bias

Qingwen Bu, Dong Huang, Heming Cui

TL;DR该研究针对深度神经网络在对抗样本上的脆弱性，提出了一种名为频率偏好控制模块的插件，它能够自适应地重新配置中间特征表示的低频和高频成分，以更好地利用频率进行鲁棒学习。实证研究表明，这种模块可以轻松地与任何对抗训练框架相结合，在不同体系结构和数据集上进一步提高模型的鲁棒性。此外，还进行了实验，以检验鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性，并揭示了有趣的见解。

Abstract

The vulnerability of deep neural networks to adversarial samples has been a major impediment to their broad applications, despite their success in various fields. Recently, some works suggested that adversarially

deep neural networks adversarial samples low-frequency information robust learning adversarial training process

发现论文，激发创造

频率偏差如何影响神经图像分类器对于常见干扰及对抗扰动的鲁棒性？

本研究提出通过 Jacobian 频率正则化方法对深度学习模型频率偏差与鲁棒性之间的直接关系进行研究，实验证明偏向低（高）频分量能够提高分类器对高（低）频污染和对抗扰动的鲁棒性，但在低（高）频污染的性能方面存在折衷。

May, 2022

频率正则化提高对抗鲁棒性

本研究在深度神经网络安全领域提出了一种方法，即通过频率正则化和随机权重平均方法，提高 Adversarial Training 的鲁棒性，实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。

Dec, 2022

通过抑制高频成分进行对抗性防御

该研究通过去除高频分量训练出具有鲁棒性的图像分类模型，并在 IJCAI-2019 阿里巴巴对抗 AI 挑战中获得了第五名。

Aug, 2019

对抗鲁棒性的频域视角

针对深度学习系统中的对抗样本存在的挑战，提出了一种基于频率的对抗样本理解方法，并分析了在频率约束下训练鲁棒性模型的性质及其准确性与鲁棒性之间的权衡关系。

Oct, 2021

频率驱动的对抗样本的一种新视角

通过对频域内对抗扰动的详细频率分析，我们的研究表明低频带的高频部分中存在显著的对抗扰动，并基于此提出了一种基于不同频率带组合的黑盒对抗攻击算法，可显著提高攻击效率。实验结果显示平均攻击成功率达到 99％，超过使用单一频率段的攻击。此外，我们引入了归一化扰动可见性指数，为评估连续和离散扰动的 $L_2$ 范数的局限性提供了解决方案。

Apr, 2024

低频扰动的有效性探究

系统地控制扰动的频率分量，通过对 NeurIPS 2017 竞赛中排名靠前的防御提交的评估，我们在黑盒和白盒转移设置下实验证明，只有保留低频分量时，才会出现性能提高，事实上，基于对抗训练的防御模型对于低频扰动的漏洞与未经防护的模型相当，这种漏洞暗示了高频对抗扰动是高阶失真测量标准引人质疑的。

Feb, 2019

基于频率的鲁棒卷积神经网络解释方法

本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。

May, 2020

通过特征混合和元学习探索频率以提高对抗迁移性

深度神经网络容易受到对抗攻击，本研究通过频率分解的特征融合方法和跨频率元优化方法，提高对正常训练模型和防御模型的攻击传递能力。

May, 2024

相位位移对抗训练

本文通过对对抗训练的反应频率进行分析，发现对抗训练会导致神经网络对高频信息收敛不足。通过频率奥义所揭示的原理，我们提出了相移的对抗训练（PhaseAT），通过将高频信息转移至低频范围学习，从而显著提高了模型收敛高频信息的能力，并取得了显著的对抗鲁棒性性能提升。

Jan, 2023

低频对抗扰动

本文提出了一种基于低频领域的对抗攻击方法，能够有效地减少模型查询次数，即使模型和防御策略未知，也能规避图像转换的防御策略，并展示了使用该技术欺骗 Google Cloud Vision 平台模型查询次数极低的成果。

Sep, 2018