MMJul, 2023

过参数化卷积神经网络中的特征学习机制：局部核归一化

PDF
TL;DR深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。
发现论文，激发创造
  • 卷积核网络

    通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题， 其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂 CNNs 相似的准确度，以及抵抗过拟合等。

    Jun, 2014

  • 具有多个输出和卷积层的有限宽度贝叶斯深度线性网络中的特征学习

    在此研究中，我们对多输出和卷积层的有限宽度结构的函数统计提供了严格的结果，从而更接近完整描述贝叶斯设置中特征学习的过程。我们的结果包括：（i）一个对于输出的联合先验分布的确切且简单的非渐近积分表示，以高斯混合形式给出；（ii）在均方误差损失函数（高斯似然）的情况下，后验分布的解析公式；（iii）利用大偏差理论对特征学习无限宽度域进行定量描述。从物理角度看，具有多个输出或卷积层的深层结构代表了核形状重整化的不同表现形式，我们的工作提供了将这种物理直觉和术语转化为严格的贝叶斯统计的字典。

    Jun, 2024

  • 卷积神经网络特征学习机制

    理解卷积神经网络从图像数据中学习特征的机制是机器学习和计算机视觉中的一个基本问题。本研究提出了卷积神经特征假设并通过实证和理论论证，证明了滤波器的协方差与输入层的补丁平均梯度外积具有高度相关性。此外，研究通过基于补丁平均梯度外积的 (深度) ConvRFM 算法在卷积核机器中实现了深层特征学习，克服了卷积核的局部自适应性限制，并在性能上取得了显著提升。

    Sep, 2023

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 深度神经网络中可训练性和泛化能力的分离

    本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

    Dec, 2019

  • 本地尺度不变卷积神经网络

    本研究提出了一种可以使卷积神经网络具有局部尺度不变性的简单模型，从而在面对尺度变化时，可以学习到更具有区分性的特征，并减少过度拟合的风险。

    Dec, 2014

  • 灵活的无限宽度图卷积网络及表示学习的重要性

    神经网络的无限宽度极限通常被认为是具有高斯过程分布的，称为神经网络高斯过程，然而固定的 NNGP 核函数无法进行表示学习，为了了解图分类和节点分类任务中表示学习的必要性，我们开发了一个精确的工具，即图卷积深核机器，发现表示学习对于图分类和异质节点分类任务是必要的，但对于同质节点分类任务则不是。

    Feb, 2024

  • 深度卷积神经网络特征提取的数学理论

    本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

    Dec, 2015

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 核图卷积神经网络

    本文旨在利用图形核函数解决图形数据处理问题，通过选取合适的滤波器、池化层以及前馈神经网络进行特征学习，最终在十个基准数据集的七个中达到了优异的表现。

    Oct, 2017