May, 2023

卷积神经网络初步凝结的理解

PDF
TL;DR本研究探讨了卷积神经网络在小初始化和梯度训练方法下内核权重的凝聚现象，实验证明该现象在卷积神经网络中同样存在且显著。理论上，本研究证明在有限的训练期间，具有小初始化的两层卷积神经网络内核将收敛至一个或几个方向，为对具有专业结构的神经网络表现出的非线性训练行为的更好理解迈出了一步。
neural networkscondensationconvolutional neural networkstraining methodskernel weights
发现论文，激发创造
  • 三层神经网络动力学：初始凝聚

    通过理论分析，我们揭示了三层神经网络训练中凝聚现象的机制，并从二层神经网络训练中进行了区分。我们还建立了有效动力学的爆炸特性，并给出了凝聚现象发生的充分条件，并通过实验证实了这些发现。此外，我们探索了凝聚与深度矩阵分解中观察到的低秩偏差之间的关联。

    Feb, 2024

  • 卷积神经网络的数据相关初始化

    该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

    Nov, 2015

  • 理解卷积滤波器的协方差结构

    通过研究学习卷积核的协方差，提出了一种针对卷积滤波器的学习自由的多元初始化方案，该方案的性能优于传统的随机初始化方法，并且在某些情况下，即使不训练深度卷积滤波器，也可以提高性能。

    Oct, 2022

  • 压缩中等规模深度神经网络的高效灵活方法

    我们提出了一种凝结缩减算法，验证了这一想法在实际问题中的可行性，可以将神经网络的规模减小，并在保持预测准确性的同时减少计算压力和提高推理速度。

    May, 2024

  • 深度均质神经网络的早期方向收敛及小初始化

    该论文研究了使用小的初始值训练深层均匀神经网络时产生的梯度流动力学。该研究表明，在训练的早期阶段，神经网络的权重保持较小的范数，并且在神经关联函数的 Karush-Kuhn-Tucker (KKT) 点附近大致收敛于相同方向。此外，在平方损失和神经网络权重的可分离性假设下，梯度流动力学在损失函数的某些鞍点附近也显示出类似的方向收敛。

    Mar, 2024

  • 卷积神经网络重置对泛化性能的影响

    研究了神经网络的子集重新初始化方法在 12 个基准图像分类数据集上的影响，提出了一种新的逐层重新初始化算法，该算法优于以前的方法，并表明可以通过逐层重新初始化卷积神经网络来提高其在小数据集上的准确性。

    Sep, 2021

  • 凸化卷积神经网络

    介绍一种凸化卷积神经网络方法，利用再现核希尔伯特空间将卷积滤波器表示为向量，并将 CNN 参数表示为低秩矩阵，进而通过凸优化求解 CNN，其泛化误差与最优 CNN 一致，CCNNs 通过逐层训练使其在性能上与基线方法相当。

    Sep, 2016

  • 卷积神经网络通过池化几何的归纳偏置

    本文研究卷积网络对其输入区域之间相关性的建模能力，并通过理论分析和实证验证，证明深度网络的池化几何形状是控制感性偏差的一种手段，使其在输入不同类型的数据时可以适应不同的偏差方向。

    May, 2016

  • 卷积初始化用于数据高效的视觉 Transformer 模型

    我们研究了在小数据集上训练视觉转换网络所面临的挑战，发现卷积神经网络可以通过利用其体系结构归纳偏差实现最先进的性能。我们探索了这种归纳偏差是否可以重新解释为视觉转换网络中的初始化偏差，并提出了一种新的初始化策略，可以在小数据集上实现与卷积神经网络相当的性能，同时保留其架构的灵活性。

    Jan, 2024

  • 关于卷积神经网络中隐式滤波器级别稀疏性的研究

    研究表明，使用 Batch Normalization 和 ReLU 激活的卷积神经网络，在采用适应性梯度下降和 L2 正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

    Nov, 2018