频率正则化提高对抗鲁棒性

AAAIDec, 2022

Frequency Regularization for Improving Adversarial Robustness

Binxiao Huang, Chaofan Tao, Rui Lin, Ngai Wong

TL;DR本研究在深度神经网络安全领域提出了一种方法，即通过频率正则化和随机权重平均方法，提高 Adversarial Training 的鲁棒性，实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。

Abstract

deep neural networks are incredibly vulnerable to crafted, human-imperceptible adversarial perturbations. Although adversarial training (AT) has proven to be an effective defense approach, we find that the AT-tra

adversarial training deep neural networks frequency regularization stochastic weight averaging robustness

发现论文，激发创造

光谱视角理解和提高对抗鲁棒性

本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

Jun, 2023

相位位移对抗训练

本文通过对对抗训练的反应频率进行分析，发现对抗训练会导致神经网络对高频信息收敛不足。通过频率奥义所揭示的原理，我们提出了相移的对抗训练（PhaseAT），通过将高频信息转移至低频范围学习，从而显著提高了模型收敛高频信息的能力，并取得了显著的对抗鲁棒性性能提升。

Jan, 2023

构建更稳健的模型：频率偏差

该研究针对深度神经网络在对抗样本上的脆弱性，提出了一种名为频率偏好控制模块的插件，它能够自适应地重新配置中间特征表示的低频和高频成分，以更好地利用频率进行鲁棒学习。实证研究表明，这种模块可以轻松地与任何对抗训练框架相结合，在不同体系结构和数据集上进一步提高模型的鲁棒性。此外，还进行了实验，以检验鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性，并揭示了有趣的见解。

Jul, 2023

理解和提高 Frank-Wolfe 对抗训练的效率

通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

Dec, 2020

频率驱动的对抗样本的一种新视角

通过对频域内对抗扰动的详细频率分析，我们的研究表明低频带的高频部分中存在显著的对抗扰动，并基于此提出了一种基于不同频率带组合的黑盒对抗攻击算法，可显著提高攻击效率。实验结果显示平均攻击成功率达到 99％，超过使用单一频率段的攻击。此外，我们引入了归一化扰动可见性指数，为评估连续和离散扰动的 $L_2$ 范数的局限性提供了解决方案。

Apr, 2024

对抗鲁棒性的频域视角

针对深度学习系统中的对抗样本存在的挑战，提出了一种基于频率的对抗样本理解方法，并分析了在频率约束下训练鲁棒性模型的性质及其准确性与鲁棒性之间的权衡关系。

Oct, 2021

低频扰动的有效性探究

系统地控制扰动的频率分量，通过对 NeurIPS 2017 竞赛中排名靠前的防御提交的评估，我们在黑盒和白盒转移设置下实验证明，只有保留低频分量时，才会出现性能提高，事实上，基于对抗训练的防御模型对于低频扰动的漏洞与未经防护的模型相当，这种漏洞暗示了高频对抗扰动是高阶失真测量标准引人质疑的。

Feb, 2019

对抗鲁棒性和可解释性的二阶优化

提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

Sep, 2020

利用对抗图像的频谱特性提高鲁棒性能

本研究通过对卷积神经网络进行频率数据增强，提出了基于分量的对抗训练方法，成功实现了对不同类型干扰包括对抗性干扰的通用鲁棒性，这有助于提升神经网络对图像扰动的抵抗力。

May, 2023

频率偏差如何影响神经图像分类器对于常见干扰及对抗扰动的鲁棒性？

本研究提出通过 Jacobian 频率正则化方法对深度学习模型频率偏差与鲁棒性之间的直接关系进行研究，实验证明偏向低（高）频分量能够提高分类器对高（低）频污染和对抗扰动的鲁棒性，但在低（高）频污染的性能方面存在折衷。

May, 2022