CVPRMay, 2019

高频分量有助于解释卷积神经网络的泛化能力

PDF
TL;DR本文研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系，揭示了 CNN 捕获高频率组件的能力，提出与 CNN 泛化行为相关的多个假设，并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。
发现论文，激发创造
  • 基于频率的鲁棒卷积神经网络解释方法

    本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。

    May, 2020

  • 正则化的线性卷积网络从图像统计中继承频率敏感性

    通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

    Oct, 2022

  • 幅度相位重组：在频域重新思考卷积神经网络的鲁棒性

    本文研究使用图像的相位与幅度谱对于卷积神经网络在图片分类中的作用，发现使用相位谱能使网络更加稳健，利用此结论我们设计了新的数据增强方法并在多项测评中取得了最优结果。

    Aug, 2021

  • 在空间频域中评估对抗鲁棒性

    CNN 模型易受到对抗攻击的脆弱性为安全关键应用的部署带来了担忧，本研究通过在频域中构建空间频率图层来探讨 CNN 模型的脆弱性，通过广泛的实验观察到空间频率 CNN 模型在白盒和黑盒攻击下比常规 CNN 模型更加稳健，此外，发现低频成分对空间频率 CNN 模型的鲁棒性有重大贡献，这些发现将有助于未来设计更加鲁棒的 CNN 模型。

    May, 2024

  • 特征提取的频率和尺度视角

    本文通过分析神经网络对频率和尺度的敏感性发现，神经网络具有不同频段类别的偏好，并且物体的尺度影响首选频段。为了证实这一假设，我们提出了基于高斯导数的网络体系结构，能够以手动方式从不同尺度上提取特征，提高了在各种数据集上的可比准确性。

    Feb, 2023

  • 通过抑制高频成分进行对抗性防御

    该研究通过去除高频分量训练出具有鲁棒性的图像分类模型，并在 IJCAI-2019 阿里巴巴对抗 AI 挑战中获得了第五名。

    Aug, 2019

  • 深度神经网络在频域下的训练行为

    通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

    Jul, 2018

  • 图卷积网络中超低频信息的挖掘

    本文研究了利用频率自适应图卷积网络在多种网络任务中，低频信息是否足够应对现实世界中不同场景的问题，提出了一种自门控机制的 FAGCN 来实现信号的自适应集成，并解释了其在不同类型网络上表现优越的原因，在六个实际网络上得到了验证。

    Jan, 2021

  • 分析卷积神经网络在频域的稳定性

    通过使用四维可视化技术，本文探讨了在频域下分析 ConvNets 内部过程的可能性，研究了 ConvNets 对噪声的稳定性，并发现利用加入噪声的训练集来微调 ConvNets 可以提高其稳定性。

    Nov, 2015

  • 频率原理：傅里叶分析揭示深度神经网络

    本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

    Jan, 2019