Jan, 2024

ELRT: 高效低秩训练用于紧凑卷积神经网络

PDF
TL;DR通过识别适当的低秩格式和性能改进策略，本文提出了 ELRT，一种高准确性、高紧凑性、低秩 CNN 模型的高效低秩训练解决方案。
发现论文，激发创造
  • 通过线性层组合的低秩引导训练实现结构保留的网络压缩

    本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在 FLOPs 和参数减少方面取得了竞争性或 SOTA 结果。

    May, 2024

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 低秩卷积滤波器在图像分类中训练 CNN 的有效性

    本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。

    Nov, 2015

  • 利用低秩变换器实现轻量高效端到端语音识别

    本研究提出低秩变压器（LRT）神经网络架构，以实现减少网络参数和提高训练推理速度的目标，进而在端对端语音识别任务上实现更好的泛化性能和更低的错误率。

    Oct, 2019

  • 基于黎曼梯度下降的低秩张量列车深度神经网络的开发及其在语音处理上的应用

    本文旨在设计复杂度低的混合张量网络，通过深入研究模型复杂度和实际性能之间的权衡，我们提出了低秩张量列深度神经网络（LR-TT-DNN）和利用卷积神经网络（CNN）与 LR-TT-DNN 相结合的混合模型 CNN +（LR-TT-DNN），并在语音增强和口语命令识别任务上进行评估。我们的实证研究证明，LR-TT-DNN 和 CNN +（LR-TT-DNN）模型能够以更少的模型参数表现得比 TT-DNN 和 CNN +（TT-DNN）更出色。

    Mar, 2022

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • 高速卷积神经网络的自动排名选择

    本文提出了一种通过组合优化实现网络复杂度最小化以及保持精度不变的方案，利用线性近似的精度函数预测了优化后 CNN 模型的精度，并在 AlexNet 和 VGG-16 上的实验结果表明，与截断 SVD 算法相结合，我们提出的排名选择算法在推理和训练时间方面优于现有技术。

    Jun, 2018

  • 卷积神经网络压缩的简化存储直接张量环分解

    我们提出了一种基于减少存储量直接张量环分解（RSDTR）的新型低秩 CNN 压缩方法，该方法具有更高的循环模排列灵活性，并以较大的参数和 FLOPS 压缩率为特点，同时保持压缩网络的良好分类准确性。与其他最先进的 CNN 压缩方法相比，对 CIFAR-10 和 ImageNet 数据集进行的实验证明了 RSDTR 的高效性。

    May, 2024

  • 高效深度神经网络的训练排名剪枝

    本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。

    Dec, 2018