Sep, 2023

卷积神经网络特征学习机制

HTML
PDF
TL;DR理解卷积神经网络从图像数据中学习特征的机制是机器学习和计算机视觉中的一个基本问题。本研究提出了卷积神经特征假设并通过实证和理论论证，证明了滤波器的协方差与输入层的补丁平均梯度外积具有高度相关性。此外，研究通过基于补丁平均梯度外积的(深度) ConvRFM算法在卷积核机器中实现了深层特征学习，克服了卷积核的局部自适应性限制，并在性能上取得了显著提升。
发现论文，激发创造
  • 卷积核网络

    通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题， 其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂CNNs相似的准确度，以及抵抗过拟合等。

    Jun, 2014

  • 本地尺度不变卷积神经网络

    本研究提出了一种可以使卷积神经网络具有局部尺度不变性的简单模型，从而在面对尺度变化时，可以学习到更具有区分性的特征，并减少过度拟合的风险。

    Dec, 2014

  • 低秩卷积滤波器在图像分类中训练CNN的有效性

    本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在CIFAR、ILSVRC和MIT Places数据集上训练了几种现有的CNN体系结构，并证实其优异的性能。

    Nov, 2015

  • 深度卷积核方法中贴片的不合理有效性

    在卷积内核方法中进行了数据组成特征提取的重要性研究，提出了一个数据驱动的卷积内核方法，通过对其效果进行广泛的研究，证明该方法已经在CIFAR-10分类准确性方面取得了与之前更复杂的卷积内核方法相同的准确性，将该方法扩展到ImageNet数据集，证明了该方法可以超越所有现有的非学习表示方法，成为目标识别的新基准。

    Jan, 2021

  • CNN Filter DB: 训练卷积过滤器的实证研究

    本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过14亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

    Mar, 2022

  • 特征学习的高维渐近性：一个梯度步骤如何改善表示

    研究两层神经网络中第一梯度下降步骤，证明第一梯度更新中存在一个秩为 1 的“峰值”，可以使第一层权重与教师模型的线性部分对其，并探索学习率对特征的影响，得出即使一步梯度下降也能带来显著优势的结论。

    May, 2022

  • 理解卷积滤波器的协方差结构

    通过研究学习卷积核的协方差，提出了一种针对卷积滤波器的学习自由的多元初始化方案，该方案的性能优于传统的随机初始化方法，并且在某些情况下，即使不训练深度卷积滤波器，也可以提高性能。

    Oct, 2022

  • 通过逐层特征压缩和差异化理解深度表示学习

    通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

    Nov, 2023

  • 平均梯度外积: 作为深度神经崩溃机制

    Deep Neural Collapse（DNC）是深度神经网络（DNNs）中最终层数据表示的令人惊讶的刚性结构。本研究提供了实质性的证据，表明DNC主要通过平均梯度外积（AGOP）进行深度特征学习形成。我们证明了权重的右奇异向量和奇异值是DNNs中类内变异性大部分倒塌的原因之一，并与AGOP的奇异结构高度相关。此外，我们实验和理论上证明了AGOP在随机初始化的神经网络中引起神经崩溃。由此证明，Deep Recursive Feature Machines是AGOP在卷积神经网络中进行特征学习的抽象方法，并且表现出DNC现象。

    Feb, 2024

  • 梯度下降如何学习特征 - 正则化双层神经网络的局部分析

    通过本地收敛分析，该论文展示了梯度下降通过精心正则化的目标函数在损失降至一定阈值以下后能够捕捉到真实方向，从而证明了特征学习不仅发生在初始梯度步骤，也可能发生在训练结束时。

    Jun, 2024