ICLRMay, 2018

卷积层的奇异值

PDF
TL;DR通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。
2d multi-channel convolutional layersingular valuesoperator-norm ballregularizerbatch normalization
发现论文，激发创造
  • 卷积权重的奇异值分解：一种 CNN 可解释性框架

    本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

    Aug, 2022

  • 奇幻四侠：卷积层奇异值的可微界限

    本论文提出通过四个可导且计算速度高的界来计算二维卷积层的谱范数并将四个界的最小值作为卷积层谱范数的紧致可导下界，在 MNIST 和 CIFAR-10 上实验并证明其有效提高了深度网络的泛化性和鲁棒性。

    Nov, 2019

  • 医学图像的卷积分解中的奇异值扁平化

    通过将卷积滤波器的权重矩阵分解为两个低秩矩阵，将模型进行减少，并通过最小化两个低秩权重矩阵与均匀分布之间的 KL 散度，减少具有显著方差的奇异值方向的数量，从而提高因子化卷积在医学图像处理模型中的表达能力。我们的 SFConv 在多个数据集上进行的实验证明，它在保持性能的同时减少了复杂性。

    Mar, 2024

  • 关于卷积神经切线和高斯过程核的谱偏差

    通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

    Mar, 2022

  • 具有有界权重范数的多通道线性卷积网络的归纳偏置

    本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

    Feb, 2021

  • 奇异值表示：神经网络的新图形视角

    通过奇异值分解神经网络权重，构建权重图，探索并非在输入数据下，批规范化引起神经元之间的显著连接和自发稀疏现象，从而提出了奇异值表示作为一种新的方法来表示神经网络的内部状态。

    Feb, 2023

  • 模型鲁棒性的奇异值视角

    本文研究探讨卷积神经网络在人工智能领域的应用，并且探讨该类网络存在的问题和局限性，提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素，从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法，建立了卷积神经网络的理论框架。

    Dec, 2020

  • 通过奇异值约束提高深度神经网络的训练

    本文通过提出一种名为 Singular Value Bounding (SVB) 的简单而有效的方法，约束了整个深度神经网络训练过程中的权重矩阵解，使其满足正交可行集，并在基准图像分类数据集上进行试验，得出了令人满意的成果。

    Nov, 2016

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 张量回归网络

    本研究通过引入张量代数操作来替代全连接层，提出了张量收缩层和张量回归层，以减少参数数量并保留激活的多线性结构，同时通过在张量收缩层和张量回归层中加入低秩约束，改进了神经网络的性能，并在 MRI 图像分析任务上取得了显著的性能提升。

    Jul, 2017