本研究通过一种可靠的方法,研究了深度神经网络的频率敏感特性并提出了一种傅里叶正则化框架来改善模型的鲁棒性。
Jan, 2023
通过理论和实验,我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果,该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示,这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差,但据我们所知,还没有应用于模型的稳健性领域。
Oct, 2022
本文研究了图像数据的频谱与卷积神经网络(CNN)的泛化行为之间的关系,揭示了 CNN 捕获高频率组件的能力,提出与 CNN 泛化行为相关的多个假设,并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。
May, 2019
这篇文章介绍了线性卷积神经网络学习的理论,发现卷积操作会导致数据集结构和网络结构不匹配,而线性卷积神经网络则通过非线性阶段性的转变发现数据集的统计结构,这种结构不匹配是影响神经网络性能的核心问题之一,同时还解释了卷积神经网络偏向于纹理而非形状的现象。
Mar, 2023
通过傅里叶分析,研究 DNN 训练的理论框架,解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级,小的初始化导致 DNN 具有良好的泛化能力,同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。
Aug, 2018
通过研究深卷积网络的灵敏度,我们发现傅里叶基函数方向上的微小改变可以导致网络准确率下降,这是一种有潜在安全风险的现象,然而这种有害扰动的共享方向特征仍然未知。鉴于对其性质的探究,我们针对黑盒模型提出了一个通用算法,可以生成具有位移不变性的通用对抗扰动。
Sep, 2018
本文提出了一种基于卷积层输出统计的级联分类器来有效检测深度神经网络中的对抗性样本,并且这种分类器是不可微分的,从而难以通过添加梯度干扰攻击;此外,利用小型均值滤波器可以恢复传统的对抗性样本,并且结果提供了更多关于深度卷积神经网络分类机制的见解。
Dec, 2016
本文介绍了一种将谱网络与图估计过程相结合的方法,用于构建小学习复杂度和处理没有强规律的领域的深层神经网络,并在大规模分类问题中测试并达到更好的性能。
Jun, 2015
CNN 模型易受到对抗攻击的脆弱性为安全关键应用的部署带来了担忧,本研究通过在频域中构建空间频率图层来探讨 CNN 模型的脆弱性,通过广泛的实验观察到空间频率 CNN 模型在白盒和黑盒攻击下比常规 CNN 模型更加稳健,此外,发现低频成分对空间频率 CNN 模型的鲁棒性有重大贡献,这些发现将有助于未来设计更加鲁棒的 CNN 模型。
May, 2024
该研究将卷积神经网络推广到高维不规则图像中,通过谱图理论提出了一种卷积滤波器设计方法,在保持线性和常数学习复杂度的同时,实现了对任意图结构的卷积作用,成功在图像识别领域实现了局部、平稳、组合特征的学习。
Jun, 2016