卷积权重的奇异值分解：一种 CNN 可解释性框架

Aug, 2022

卷积权重的奇异值分解：一种 CNN 可解释性框架

The SVD of Convolutional Weights: A CNN Interpretability Framework

Brenda Praggastis, Davis Brown, Carlos Ortiz Marrero, Emilie Purvine, Madelyn Shapiro...

TL;DR本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

Abstract

deep neural networks used for image classification often use convolutional filters to extract distinguishing features before passing them to a linear classifier. Most interpretability literature focuses on provid

deep neural networks convolutional filters singular value decomposition interpretability class separation

发现论文，激发创造

奇异值表示：神经网络的新图形视角

通过奇异值分解神经网络权重，构建权重图，探索并非在输入数据下，批规范化引起神经元之间的显著连接和自发稀疏现象，从而提出了奇异值表示作为一种新的方法来表示神经网络的内部状态。

Feb, 2023

模型鲁棒性的奇异值视角

本文研究探讨卷积神经网络在人工智能领域的应用，并且探讨该类网络存在的问题和局限性，提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素，从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法，建立了卷积神经网络的理论框架。

Dec, 2020

卷积层的奇异值

通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。

May, 2018

深度分解：在高效卷积神经网络中加速可分离卷积

本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

Oct, 2019

语言模型加权低秩估计的数值优化

我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

Nov, 2022

通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

Apr, 2020

医学图像的卷积分解中的奇异值扁平化

通过将卷积滤波器的权重矩阵分解为两个低秩矩阵，将模型进行减少，并通过最小化两个低秩权重矩阵与均匀分布之间的 KL 散度，减少具有显著方差的奇异值方向的数量，从而提高因子化卷积在医学图像处理模型中的表达能力。我们的 SFConv 在多个数据集上进行的实验证明，它在保持性能的同时减少了复杂性。

Mar, 2024

加权低秩分解语言模型压缩

提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。

Jun, 2022

行人检索的 SVDNet

该论文提出了一种基于 SVDNet 的人物再识别方法，通过优化深度表示学习过程并使用正交约束迭代训练，可以有效降低投影向量之间的相关性，并显著提高 re-ID 准确性。

Mar, 2017

卷积神经网络参数的动态等级剪枝压缩

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024