May, 2020

基于频率的鲁棒卷积神经网络解释方法

PDF
TL;DR本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。
convolutional neural networkfrequency componentsadversarial attacksrobustnessreasoning process
发现论文，激发创造
  • 高频分量有助于解释卷积神经网络的泛化能力

    本文研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系，揭示了 CNN 捕获高频率组件的能力，提出与 CNN 泛化行为相关的多个假设，并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。

    May, 2019

  • 正则化的线性卷积网络从图像统计中继承频率敏感性

    通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

    Oct, 2022

  • 幅度相位重组：在频域重新思考卷积神经网络的鲁棒性

    本文研究使用图像的相位与幅度谱对于卷积神经网络在图片分类中的作用，发现使用相位谱能使网络更加稳健，利用此结论我们设计了新的数据增强方法并在多项测评中取得了最优结果。

    Aug, 2021

  • 构建更稳健的模型：频率偏差

    该研究针对深度神经网络在对抗样本上的脆弱性，提出了一种名为频率偏好控制模块的插件，它能够自适应地重新配置中间特征表示的低频和高频成分，以更好地利用频率进行鲁棒学习。实证研究表明，这种模块可以轻松地与任何对抗训练框架相结合，在不同体系结构和数据集上进一步提高模型的鲁棒性。此外，还进行了实验，以检验鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性，并揭示了有趣的见解。

    Jul, 2023

  • 频率驱动的对抗样本的一种新视角

    通过对频域内对抗扰动的详细频率分析，我们的研究表明低频带的高频部分中存在显著的对抗扰动，并基于此提出了一种基于不同频率带组合的黑盒对抗攻击算法，可显著提高攻击效率。实验结果显示平均攻击成功率达到 99％，超过使用单一频率段的攻击。此外，我们引入了归一化扰动可见性指数，为评估连续和离散扰动的 $L_2$ 范数的局限性提供了解决方案。

    Apr, 2024

  • 在空间频域中评估对抗鲁棒性

    CNN 模型易受到对抗攻击的脆弱性为安全关键应用的部署带来了担忧，本研究通过在频域中构建空间频率图层来探讨 CNN 模型的脆弱性，通过广泛的实验观察到空间频率 CNN 模型在白盒和黑盒攻击下比常规 CNN 模型更加稳健，此外，发现低频成分对空间频率 CNN 模型的鲁棒性有重大贡献，这些发现将有助于未来设计更加鲁棒的 CNN 模型。

    May, 2024

  • 频率偏差如何影响神经图像分类器对于常见干扰及对抗扰动的鲁棒性？

    本研究提出通过 Jacobian 频率正则化方法对深度学习模型频率偏差与鲁棒性之间的直接关系进行研究，实验证明偏向低（高）频分量能够提高分类器对高（低）频污染和对抗扰动的鲁棒性，但在低（高）频污染的性能方面存在折衷。

    May, 2022

  • 通过特征混合和元学习探索频率以提高对抗迁移性

    深度神经网络容易受到对抗攻击，本研究通过频率分解的特征融合方法和跨频率元优化方法，提高对正常训练模型和防御模型的攻击传递能力。

    May, 2024

  • 对抗鲁棒性的频域视角

    针对深度学习系统中的对抗样本存在的挑战，提出了一种基于频率的对抗样本理解方法，并分析了在频率约束下训练鲁棒性模型的性质及其准确性与鲁棒性之间的权衡关系。

    Oct, 2021

  • 分析卷积神经网络在频域的稳定性

    通过使用四维可视化技术，本文探讨了在频域下分析 ConvNets 内部过程的可能性，研究了 ConvNets 对噪声的稳定性，并发现利用加入噪声的训练集来微调 ConvNets 可以提高其稳定性。

    Nov, 2015