Oct, 2022

理解卷积滤波器的协方差结构

PDF
TL;DR通过研究学习卷积核的协方差，提出了一种针对卷积滤波器的学习自由的多元初始化方案，该方案的性能优于传统的随机初始化方法，并且在某些情况下，即使不训练深度卷积滤波器，也可以提高性能。
neural networkcovariance matrixconvolutional networksrandom initializationmultivariate initialization
发现论文，激发创造
  • 卷积神经网络初步凝结的理解

    本研究探讨了卷积神经网络在小初始化和梯度训练方法下内核权重的凝聚现象，实验证明该现象在卷积神经网络中同样存在且显著。理论上，本研究证明在有限的训练期间，具有小初始化的两层卷积神经网络内核将收敛至一个或几个方向，为对具有专业结构的神经网络表现出的非线性训练行为的更好理解迈出了一步。

    May, 2023

  • 针对点卷积神经网络的方差感知型权重初始化

    本文提出了一种统一多种连续卷积的框架，并介绍了一种基于方差的权重初始化策略，能够在学习面对点云时避免批标准化的缺陷，并实现与批标准化类似或更好的性能。

    Dec, 2021

  • 卷积神经网络的结构权重先验

    该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机 Gabor 过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

    Jul, 2020

  • 卷积神经网络的数据相关初始化

    该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

    Nov, 2015

  • 卷积权重的奇异值分解：一种 CNN 可解释性框架

    本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

    Aug, 2022

  • 图神经网络的初始化

    对图神经网络 (GNN) 的初始化方法进行研究，提出了一种新的初始化方法 Virgo，通过考虑激活函数、隐藏维度、图结构和信息传递等因素，减少了方差不稳定性，提高了模型性能。

    Dec, 2023

  • 高斯混合卷积网络

    提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。

    Feb, 2022

  • 视觉 Transformer 中的结构化初始化注意力

    本文探讨了视觉 transformer（ViT）网络在小规模数据集上的训练问题，提出了通过重新解释卷积神经网络（CNN）的架构偏差作为 ViT 的初始化偏差，使其在小规模问题上表现出色，并保持其在大规模应用中的灵活性，该方法在诸多基准数据集（包括 CIFAR-10、CIFAR-100 和 SVHN）上实现了最先进的数据高效 ViT 学习性能。

    Apr, 2024

  • 深度结构（随机）特征的学习渐近性

    我们提供了一种针对大类特征映射的紧密渐近特征错误的表征，其中输入维度、隐藏层宽度和训练样本数在高维极限下成比例增加。我们的工作部分是受到了学习具有高斯彩虹神经网络的问题的启发，即具有随机但结构化权重的深层非线性全连接网络，它们的行协方差进一步允许依赖于前层的权重。对于这样的网络，我们还推导了一种以权重矩阵为基础的特征协方差的闭合形式公式。我们进一步发现，在某些情况下，我们的结果能够捕捉到通过梯度下降训练的深度有限宽度神经网络学得的特征映射。

    Feb, 2024

  • CNN Filter DB: 训练卷积过滤器的实证研究

    本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过 14 亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

    Mar, 2022