Sep, 2023

通过层级目标低秩分解加速 Resnet 架构

PDF
TL;DR通过使用低秩分解在网络层上应用压缩，本研究旨在研究压缩神经网络以提高训练和推理速度。我们的研究证明，为了加速，压缩方法应该考虑底层硬件，并进行分析以选择要压缩的层。通过对 ResNet50 的压缩和在全图像数据集 ImageNet-ILSVRC2012 上的训练的案例研究，我们展示了我们的方法的优势。我们在两个不同的硬件系统 Nvidia V100 和 Huawei Ascend910 上进行了测试。通过针对硬件进行压缩，Ascend910 上的训练加速度为 5.36%，Ascend310 上的推理速度为 15.79%，与原始未压缩模型相比仅有 1% 的精度下降。
compressionneural networklow rank decompositionhardware analysisresnet50
发现论文，激发创造
  • 可分解网络：神经网络可扩展低秩压缩

    本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

    Oct, 2019

  • 使用顺序冻结和秩量化加速低秩分解网络的训练

    通过优化秩和顺序冻结分解层，本文提出的两种技术能够在保持准确度不变的前提下，提高模型的训练和推理速度达到 60% 和 37%。

    Sep, 2023

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 使用张量分解加速训练

    本文提出一种使用张量分解减少模型训练时间的方法，通过在原始架构下训练模型一小段时间后对其进行分解，在没有准确度损失或仅有 1.5％的准确度降低的同时训练速度提高了最多 2 倍，而且在 CPU 和 GPU 平台上均可使用。

    Sep, 2019

  • 神经网络压缩：寻求最佳分层分解方法

    本文提出了一种新颖的全局压缩深度神经网络框架，通过使用低秩分解的方法在达到所需的整体压缩率的同时，对每层进行全面分析确定最佳的每层压缩比率，并利用等奇特展开定理和最优化算法来得到我们的解决方案。我们的实验表明，我们的方法在各种网络和数据集上优于现有的低秩压缩方法。

    Jul, 2021

  • 基于选取：预训练大型语言模型的低秩分解与目标应用

    通过低秩分解方法，我们可以削减大型语言模型的冗余组件，压缩模型大小并保持与最先进压缩技术相当的准确性。

    May, 2024

  • 通过线性层组合的低秩引导训练实现结构保留的网络压缩

    本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在 FLOPs 和参数减少方面取得了竞争性或 SOTA 结果。

    May, 2024

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 深度网络压缩感知训练

    本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

    Nov, 2017

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015