Nov, 2015

低秩正则化的卷积神经网络

PDF
TL;DR这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。
cnnstensor decompositionslow-rankalgorithmspeedup
发现论文，激发创造
  • 卷积神经网络压缩的稳定低秩张量分解

    本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。

    Aug, 2020

  • 高速卷积神经网络的自动排名选择

    本文提出了一种通过组合优化实现网络复杂度最小化以及保持精度不变的方案，利用线性近似的精度函数预测了优化后 CNN 模型的精度，并在 AlexNet 和 VGG-16 上的实验结果表明，与截断 SVD 算法相结合，我们提出的排名选择算法在推理和训练时间方面优于现有技术。

    Jun, 2018

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • 卷积神经网络压缩的简化存储直接张量环分解

    我们提出了一种基于减少存储量直接张量环分解（RSDTR）的新型低秩 CNN 压缩方法，该方法具有更高的循环模排列灵活性，并以较大的参数和 FLOPS 压缩率为特点，同时保持压缩网络的良好分类准确性。与其他最先进的 CNN 压缩方法相比，对 CIFAR-10 和 ImageNet 数据集进行的实验证明了 RSDTR 的高效性。

    May, 2024

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 低秩卷积滤波器在图像分类中训练 CNN 的有效性

    本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。

    Nov, 2015

  • 可分解网络：神经网络可扩展低秩压缩

    本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

    Oct, 2019

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014