Oct, 2022

从特征提取角度的 CNN 逼近分析

PDF
TL;DR本文利用深层多通道卷积神经网络分析了线性特征提取，展示了深度学习在传统线性变换如傅立叶、小波和冗余字典编码方法之上的优越性，并提出了一种有效的线性特征提取构造方法。同时，研究了采用通道实现深度网络较低的实质维数的函数逼近速率，因子化线性特征为多分辨率卷积的谐波分析在本研究中具有重要作用。此外，文章还构建了一种矩阵的专用向量化，桥接了一维 CNN 和二维 CNN，并允许我们进行相应的二维分析。
发现论文，激发创造
  • 深度卷积神经网络特征提取的数学理论

    本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

    Dec, 2015

  • CNN 为什么在特征提取方面表现出色？数学解释

    该研究提出了一种新的基于特征提取的图像分类数学模型，并通过构建分段线性函数以检测特征的方式证明卷积神经网络可以零误差地解决这些图像分类任务。

    Jul, 2023

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 离散深度特征提取：理论与新架构

    本文针对离散情况，引入新的卷积神经网络结构，并为其分析提出了数学框架，具体包括局部和全局的变形与平移敏感结果，以及研究输入信号的某些结构性质在相应特征向量中的反映，理论适用于一般的滤波器和 Lipschitz 连续的非线性和池化运算符，并通过手写数字分类和面部关键点检测的实验结果对理论研究进行了补充。

    May, 2016

  • 深度卷积神经网络的普适性

    本研究破解了学习理论中的一道难题，证明了深度卷积神经网络（CNN）是通用的，可以通过增加深度来达到任意精度的连续函数逼近，并且在处理大维度数据方面非常高效。同时我们的研究证明了卷积在深度 CNN 中的重要作用。

    May, 2018

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016

  • 线性卷积神经网络只利用最显著频率发现数据集的统计结构

    这篇文章介绍了线性卷积神经网络学习的理论，发现卷积操作会导致数据集结构和网络结构不匹配，而线性卷积神经网络则通过非线性阶段性的转变发现数据集的统计结构，这种结构不匹配是影响神经网络性能的核心问题之一，同时还解释了卷积神经网络偏向于纹理而非形状的现象。

    Mar, 2023

  • 卷积神经网络中的特征表示

    本文旨在深入探究 CNN 中的特征方面，发现 CNN 特征映射可用于随机森林和 SVM，以产生超越原始 CNN 的分类结果；使用较低层次的特征可以获得更好的分类结果。

    Jul, 2015

  • 深度卷积网络中归纳偏见的理论分析

    本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。

    May, 2023

  • 理解深度卷积网络

    这篇文章综述了深度卷积神经网络的架构，介绍了一种数学框架来分析它们的属性，以及讨论了它们的应用。

    Jan, 2016