Jan, 2024

卷积神经网络参数的动态等级剪枝压缩

HTML
PDF
TL;DR通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练SVD因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。
发现论文，激发创造
  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移/紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 可分解网络：神经网络可扩展低秩压缩

    本文介绍了一种名为Decomposable-Net的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

    Oct, 2019

  • 卷积神经网络结构压缩的分类与评估

    简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明SVD和概率压缩或修剪方法最优。

    Dec, 2019

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为SVD training的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少DNN算法在低性能设备上的计算负担。

    Apr, 2020

  • 训练期间自适应排名谱剪枝卷积层

    本文提出一种基于张量Tucker分解的低参数训练方法，通过自适应剪枝卷积核的Tucker秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

    May, 2023

  • 通过低维度学习动力学高效压缩超参数化深度模型

    通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。

    Nov, 2023

  • 通过对抗性权重修剪实现更高的排名

    卷积神经网络在边缘设备上部署困难，提出了一种基于排名的修剪方法（Rank-based PruninG），通过稀疏权重的高秩拓扑结构来实现高稀疏度，该方法在各种数据集和不同任务上验证了其有效性。

    Nov, 2023

  • 通过线性层组合的低秩引导训练实现结构保留的网络压缩

    本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在FLOPs和参数减少方面取得了竞争性或SOTA结果。

    May, 2024

  • 基于低秩分解的卷积神经网络压缩

    本研究解决了深度神经网络在边缘设备上的部署受限于计算负荷和内存消耗的问题。提出了一种将变分贝叶斯矩阵分解与正交正则化相结合的模型压缩方法，显著提高了压缩模型在高低压缩比下的性能，同时保持了原始模型的准确性。这一框架的通用性使其适用于其他卷积神经网络，并可轻松整合其他张量分解方法。

    Aug, 2024