Feb, 2023

特征提取的频率和尺度视角

PDF
TL;DR本文通过分析神经网络对频率和尺度的敏感性发现，神经网络具有不同频段类别的偏好，并且物体的尺度影响首选频段。为了证实这一假设，我们提出了基于高斯导数的网络体系结构，能够以手动方式从不同尺度上提取特征，提高了在各种数据集上的可比准确性。
convolutional neural networksfrequency bandsscale spacelocal feature extraction operatorsgaussian derivatives
发现论文，激发创造
  • 正则化的线性卷积网络从图像统计中继承频率敏感性

    通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

    Oct, 2022

  • 高频分量有助于解释卷积神经网络的泛化能力

    本文研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系，揭示了 CNN 捕获高频率组件的能力，提出与 CNN 泛化行为相关的多个假设，并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。

    May, 2019

  • 深度图像分类中学习尺度变化和尺度不变特征

    本文提出了一种多尺度卷积神经网络方法来促进卷积神经网络同时识别尺度不变和尺度变异的特征，并在涉及多个尺度的任务相关特征的挑战性图像分类任务上对其进行了评估。结果表明，我们的多尺度卷积神经网络优于单尺度卷积神经网络，从而得出结论：在卷积神经网络中鼓励尺度不变和尺度变异表示的结合对图像识别性能有益。

    Feb, 2016

  • 基于频率的鲁棒卷积神经网络解释方法

    本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。

    May, 2020

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 直接从波形中学习多尺度特征

    本文详细介绍了一种使用卷积滤波器的方法，可以通过减少步幅增加时间分辨率，通过增加滤波器增加频率分辨率以提高语音识别精度。我们同时在多个尺度上学习，从而发现更高效的表示方法，并且相对于基于光谱图的同样参数网络训练，内部语音测试集上的词语错误率下降了 20.7％。

    Mar, 2016

  • 本地尺度不变卷积神经网络

    本研究提出了一种可以使卷积神经网络具有局部尺度不变性的简单模型，从而在面对尺度变化时，可以学习到更具有区分性的特征，并减少过度拟合的风险。

    Dec, 2014

  • 在空间频域中评估对抗鲁棒性

    CNN 模型易受到对抗攻击的脆弱性为安全关键应用的部署带来了担忧，本研究通过在频域中构建空间频率图层来探讨 CNN 模型的脆弱性，通过广泛的实验观察到空间频率 CNN 模型在白盒和黑盒攻击下比常规 CNN 模型更加稳健，此外，发现低频成分对空间频率 CNN 模型的鲁棒性有重大贡献，这些发现将有助于未来设计更加鲁棒的 CNN 模型。

    May, 2024

  • 线性卷积神经网络只利用最显著频率发现数据集的统计结构

    这篇文章介绍了线性卷积神经网络学习的理论，发现卷积操作会导致数据集结构和网络结构不匹配，而线性卷积神经网络则通过非线性阶段性的转变发现数据集的统计结构，这种结构不匹配是影响神经网络性能的核心问题之一，同时还解释了卷积神经网络偏向于纹理而非形状的现象。

    Mar, 2023

  • 从特征提取角度的 CNN 逼近分析

    本文利用深层多通道卷积神经网络分析了线性特征提取，展示了深度学习在传统线性变换如傅立叶、小波和冗余字典编码方法之上的优越性，并提出了一种有效的线性特征提取构造方法。同时，研究了采用通道实现深度网络较低的实质维数的函数逼近速率，因子化线性特征为多分辨率卷积的谐波分析在本研究中具有重要作用。此外，文章还构建了一种矩阵的专用向量化，桥接了一维 CNN 和二维 CNN，并允许我们进行相应的二维分析。

    Oct, 2022