Mar, 2023

线性卷积神经网络只利用最显著频率发现数据集的统计结构

PDF
TL;DR这篇文章介绍了线性卷积神经网络学习的理论，发现卷积操作会导致数据集结构和网络结构不匹配，而线性卷积神经网络则通过非线性阶段性的转变发现数据集的统计结构，这种结构不匹配是影响神经网络性能的核心问题之一，同时还解释了卷积神经网络偏向于纹理而非形状的现象。
convolutional neural networkslinear cnnsstructural mismatchdominant frequency biasshortcut learning
发现论文，激发创造
  • 正则化的线性卷积网络从图像统计中继承频率敏感性

    通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

    Oct, 2022

  • 衡量 CNN 学习表面统计规律的倾向性

    本研究使用 Fourier 滤波技术构建数据集，并发现深度 CNN 倾向于抓取训练集的 Fourier 图像统计数据，导致出现高泛化差距，从而支持深层 CNN 更倾向于学习数据集的表面统计规律而非高层次的抽象概念。

    Nov, 2017

  • 从特征提取角度的 CNN 逼近分析

    本文利用深层多通道卷积神经网络分析了线性特征提取，展示了深度学习在传统线性变换如傅立叶、小波和冗余字典编码方法之上的优越性，并提出了一种有效的线性特征提取构造方法。同时，研究了采用通道实现深度网络较低的实质维数的函数逼近速率，因子化线性特征为多分辨率卷积的谐波分析在本研究中具有重要作用。此外，文章还构建了一种矩阵的专用向量化，桥接了一维 CNN 和二维 CNN，并允许我们进行相应的二维分析。

    Oct, 2022

  • 基于图结构数据的深度卷积网络

    本文介绍了一种将谱网络与图估计过程相结合的方法，用于构建小学习复杂度和处理没有强规律的领域的深层神经网络，并在大规模分类问题中测试并达到更好的性能。

    Jun, 2015

  • 基于 CNN 学习的非线性卷积滤波器

    研究表明，在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法，可以增加卷积层的表达能力，在 CIFAR-10 和 CIFAR-100 数据集上，使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能，取得与最先进水平相当的结果。

    Aug, 2017

  • 特征提取的频率和尺度视角

    本文通过分析神经网络对频率和尺度的敏感性发现，神经网络具有不同频段类别的偏好，并且物体的尺度影响首选频段。为了证实这一假设，我们提出了基于高斯导数的网络体系结构，能够以手动方式从不同尺度上提取特征，提高了在各种数据集上的可比准确性。

    Feb, 2023

  • 基于频率的鲁棒卷积神经网络解释方法

    本文研究了透明的卷积神经网络中，输入频率分量的分布与模型学习的推理过程之间的关系，量化了不同频率分量对模型预测的贡献，并发现模型容易受到高频特征的攻击。研究表明，如果模型与低频成分有更强的联系，则模型更具鲁棒性，这也解释了为什么对抗训练模型更加稳健。

    May, 2020

  • 利用卷积在干草堆中寻找针头：探讨结构偏置的优势

    该研究通过比较卷积神经网络（CNN）和全连接网络（FCN）在损失景观中的动态性来探讨它们究竟有什么不同。他们引入了一种将 CNN 映射为其等效 FCN（称为 eFCN）的方法，以直接在 FCN 空间中比较 CNN 和 FCN 的培训动态。该研究还测试了一种新的培训协议，证明了 eFCN 对于某些中间时刻可以优于 CNN。这表明在优化的早期阶段，CNN 的先验有助于浏览损失景观，从而实现更好的泛化。

    Jun, 2019

  • CNN 为什么在特征提取方面表现出色？数学解释

    该研究提出了一种新的基于特征提取的图像分类数学模型，并通过构建分段线性函数以检测特征的方式证明卷积神经网络可以零误差地解决这些图像分类任务。

    Jul, 2023

  • 深度卷积网络中归纳偏见的理论分析

    本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。

    May, 2023