幅度相位重组:在频域重新思考卷积神经网络的鲁棒性
通过引入基于 Fourier 变换的结构性因果模型,本文旨在阐明领域泛化和频率组分之间的关系,将相位谱解释为半因果因素,将幅度谱解释为非因果因素。在多个基准测试中,通过对幅度谱进行扰动并建立空间关系来匹配相位组分,我们的方法在领域泛化和超出分布鲁棒性任务中取得了最先进的性能。
Jul, 2023
本研究通过对卷积神经网络进行频率数据增强,提出了基于分量的对抗训练方法,成功实现了对不同类型干扰包括对抗性干扰的通用鲁棒性,这有助于提升神经网络对图像扰动的抵抗力。
May, 2023
本文研究了图像数据的频谱与卷积神经网络(CNN)的泛化行为之间的关系,揭示了 CNN 捕获高频率组件的能力,提出与 CNN 泛化行为相关的多个假设,并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。
May, 2019
卷积神经网络(CNN)在分布变化下展现出较差的泛化性能,通过基于频率的角度考虑人类与 CNN 可能会关注图像的不同频率成分,我们提出了一种简单而有效的数据增强方法 HybridAugment 来降低 CNN 对高频成分的依赖,从而提高它们的鲁棒性并保持良好的准确性。同时,我们还提出了基于层次结构的增强方法 HybridAugment++,它在 HybridAugment 的基础上减少了 CNN 对图像振幅成分的依赖,并更加注重相位信息。这种统一的方法在干净准确度(CIFAR-10/100 和 ImageNet)、损坏数据集(ImageNet-C、CIFAR-10-C 和 CIFAR-100-C)、对抗鲁棒性(CIFAR-10)和数据集外分布检测等方面达到了与或优于最先进的结果。HybridAugment 和 HybridAugment++ 仅需几行代码实现,不需要额外数据、集成模型或其他网络。
Jul, 2023
本文研究了透明的卷积神经网络中,输入频率分量的分布与模型学习的推理过程之间的关系,量化了不同频率分量对模型预测的贡献,并发现模型容易受到高频特征的攻击。研究表明,如果模型与低频成分有更强的联系,则模型更具鲁棒性,这也解释了为什么对抗训练模型更加稳健。
May, 2020
CNN 模型易受到对抗攻击的脆弱性为安全关键应用的部署带来了担忧,本研究通过在频域中构建空间频率图层来探讨 CNN 模型的脆弱性,通过广泛的实验观察到空间频率 CNN 模型在白盒和黑盒攻击下比常规 CNN 模型更加稳健,此外,发现低频成分对空间频率 CNN 模型的鲁棒性有重大贡献,这些发现将有助于未来设计更加鲁棒的 CNN 模型。
May, 2024
通过使用四维可视化技术,本文探讨了在频域下分析 ConvNets 内部过程的可能性,研究了 ConvNets 对噪声的稳定性,并发现利用加入噪声的训练集来微调 ConvNets 可以提高其稳定性。
Nov, 2015
本文提出了一种基于傅里叶的领域泛化新视角,通过开发一种称为幅度混合的新型傅里叶数据增强策略,来强制模型捕获高级语义信息,同时在原始图像与增强图像之间引入了一种双重一致性损失方法,取得了领域泛化的最新成果并显著提高了性能。
May, 2021
通过理论和实验,我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果,该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示,这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差,但据我们所知,还没有应用于模型的稳健性领域。
Oct, 2022
本研究提出了一种称为 PADDLES 的方法,通过使用离散傅里叶变换(DFT)将某些层的特征分解为振幅谱(AS)和相位谱(PS),在训练期间分别在不同的时间点停止 AS 和 PS 的训练,以提高 CNNs 对标签噪声的鲁棒性。在合成和现实标签噪声数据集上,PADDLES 的表现超过了其他早期停止方法,并实现了最先进的性能。
Dec, 2022