ICMLMay, 2016

离散深度特征提取：理论与新架构

PDF
TL;DR本文针对离散情况，引入新的卷积神经网络结构，并为其分析提出了数学框架，具体包括局部和全局的变形与平移敏感结果，以及研究输入信号的某些结构性质在相应特征向量中的反映，理论适用于一般的滤波器和 Lipschitz 连续的非线性和池化运算符，并通过手写数字分类和面部关键点检测的实验结果对理论研究进行了补充。
convolutional neural networksfeature extractionmathematical theorydiscrete casestructural properties
发现论文，激发创造
  • 深度卷积神经网络特征提取的数学理论

    本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

    Dec, 2015

  • 基于半离散框架的深度卷积神经网络

    本文通过允许不同并且通用的半离散框架在不同的网络层中，进一步发展 Mallat 的理论，证明了广泛类别的特征提取器的平移不变性，并为比 Mallat 考虑的更大类别的变形稳定结果发展了结果。

    Apr, 2015

  • 从特征提取角度的 CNN 逼近分析

    本文利用深层多通道卷积神经网络分析了线性特征提取，展示了深度学习在传统线性变换如傅立叶、小波和冗余字典编码方法之上的优越性，并提出了一种有效的线性特征提取构造方法。同时，研究了采用通道实现深度网络较低的实质维数的函数逼近速率，因子化线性特征为多分辨率卷积的谐波分析在本研究中具有重要作用。此外，文章还构建了一种矩阵的专用向量化，桥接了一维 CNN 和二维 CNN，并允许我们进行相应的二维分析。

    Oct, 2022

  • CNN 为什么在特征提取方面表现出色？数学解释

    该研究提出了一种新的基于特征提取的图像分类数学模型，并通过构建分段线性函数以检测特征的方式证明卷积神经网络可以零误差地解决这些图像分类任务。

    Jul, 2023

  • 基于图结构数据的深度卷积网络

    本文介绍了一种将谱网络与图估计过程相结合的方法，用于构建小学习复杂度和处理没有强规律的领域的深层神经网络，并在大规模分类问题中测试并达到更好的性能。

    Jun, 2015

  • 理解深度卷积网络

    这篇文章综述了深度卷积神经网络的架构，介绍了一种数学框架来分析它们的属性，以及讨论了它们的应用。

    Jan, 2016

  • 深度 ReLU 网络中的深度选取对特征提取和泛化的影响

    本文旨在量化特征提取和泛化中深度与特征之间的对应关系，通过展示提取单一特征和复合特征的深度 - 参数权衡表明特征对深度的适应性和相反情况，并证明在深度网络上实现经典的经验风险最小化可实现多种学习任务的最优泛化性能，其理论结果通过一系列数字实验进行了验证。

    Apr, 2020

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 概率数字卷积神经网络

    我们提出了一种基于概率数值方法的卷积神经网络，使用高斯过程表示特征，并采用偏微分方程定义卷积层，实现了旋转等变卷积，实验结果显示我们的方法可将误差降低 3 倍，并在医学时间序列数据集 PhysioNet2012 上展现了出色的性能。

    Oct, 2020

  • 具有多个输出和卷积层的有限宽度贝叶斯深度线性网络中的特征学习

    在此研究中，我们对多输出和卷积层的有限宽度结构的函数统计提供了严格的结果，从而更接近完整描述贝叶斯设置中特征学习的过程。我们的结果包括：（i）一个对于输出的联合先验分布的确切且简单的非渐近积分表示，以高斯混合形式给出；（ii）在均方误差损失函数（高斯似然）的情况下，后验分布的解析公式；（iii）利用大偏差理论对特征学习无限宽度域进行定量描述。从物理角度看，具有多个输出或卷积层的深层结构代表了核形状重整化的不同表现形式，我们的工作提供了将这种物理直觉和术语转化为严格的贝叶斯统计的字典。

    Jun, 2024