本文研究使用图像的相位与幅度谱对于卷积神经网络在图片分类中的作用,发现使用相位谱能使网络更加稳健,利用此结论我们设计了新的数据增强方法并在多项测评中取得了最优结果。
Aug, 2021
卷积神经网络(CNN)在分布变化下展现出较差的泛化性能,通过基于频率的角度考虑人类与 CNN 可能会关注图像的不同频率成分,我们提出了一种简单而有效的数据增强方法 HybridAugment 来降低 CNN 对高频成分的依赖,从而提高它们的鲁棒性并保持良好的准确性。同时,我们还提出了基于层次结构的增强方法 HybridAugment++,它在 HybridAugment 的基础上减少了 CNN 对图像振幅成分的依赖,并更加注重相位信息。这种统一的方法在干净准确度(CIFAR-10/100 和 ImageNet)、损坏数据集(ImageNet-C、CIFAR-10-C 和 CIFAR-100-C)、对抗鲁棒性(CIFAR-10)和数据集外分布检测等方面达到了与或优于最先进的结果。HybridAugment 和 HybridAugment++ 仅需几行代码实现,不需要额外数据、集成模型或其他网络。
Jul, 2023
本文通过对对抗训练的反应频率进行分析,发现对抗训练会导致神经网络对高频信息收敛不足。通过频率奥义所揭示的原理,我们提出了相移的对抗训练(PhaseAT),通过将高频信息转移至低频范围学习,从而显著提高了模型收敛高频信息的能力,并取得了显著的对抗鲁棒性性能提升。
Jan, 2023
通过对频域内对抗扰动的详细频率分析,我们的研究表明低频带的高频部分中存在显著的对抗扰动,并基于此提出了一种基于不同频率带组合的黑盒对抗攻击算法,可显著提高攻击效率。实验结果显示平均攻击成功率达到 99%,超过使用单一频率段的攻击。此外,我们引入了归一化扰动可见性指数,为评估连续和离散扰动的 $L_2$ 范数的局限性提供了解决方案。
Apr, 2024
该研究使用傅里叶域的分析方法和特征图的相位和振幅识别方法,成功地区分了对抗示例和良性测试图片,并提出了两种新颖的对抗检测方法。
Mar, 2021
本研究在深度神经网络安全领域提出了一种方法,即通过频率正则化和随机权重平均方法,提高 Adversarial Training 的鲁棒性,实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。
Dec, 2022
本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法,成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务,同时提升了在受损图像方面的鲁棒性。
计算机视觉中,通过数据增强方式可以提高鲁棒性,但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高,因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。
Jun, 2019
本文提出了一种新的频域模拟攻击方法,通过将频域变换应用于输入,从而实现模型扩充,旨在打造更易传递的对抗样本,结果表明这种方法对攻击 9 个最先进防御模型具有较高的成功率。
Jul, 2022
通过引入基于 Fourier 变换的结构性因果模型,本文旨在阐明领域泛化和频率组分之间的关系,将相位谱解释为半因果因素,将幅度谱解释为非因果因素。在多个基准测试中,通过对幅度谱进行扰动并建立空间关系来匹配相位组分,我们的方法在领域泛化和超出分布鲁棒性任务中取得了最先进的性能。