卷积神经网络压缩的简化存储直接张量环分解

May, 2024

卷积神经网络压缩的简化存储直接张量环分解

Reduced storage direct tensor ring decomposition for convolutional neural networks compression

Mateusz Gabor, Rafał Zdunek

TL;DR我们提出了一种基于减少存储量直接张量环分解（RSDTR）的新型低秩 CNN 压缩方法，该方法具有更高的循环模排列灵活性，并以较大的参数和 FLOPS 压缩率为特点，同时保持压缩网络的良好分类准确性。与其他最先进的 CNN 压缩方法相比，对 CIFAR-10 和 ImageNet 数据集进行的实验证明了 RSDTR 的高效性。

Abstract

convolutional neural networks (CNNs) are among the most widely used machine learning models for computer vision tasks, such as image classification. To improve the efficiency of CNNs, many cnns compressing approa

convolutional neural networks cnns compressing low-rank methods rsdtr efficient compression

发现论文，激发创造

低秩正则化的卷积神经网络

这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

Nov, 2015

基于张量分解的 DNN 模型压缩及优化框架

本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

Jul, 2021

卷积神经网络压缩的稳定低秩张量分解

本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。

Aug, 2020

卷积神经网络参数的动态等级剪枝压缩

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024

神经网络模型简化的张量分解：一篇综述

该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

Apr, 2023

随机张量环分解及其在大规模数据重建中的应用

本文介绍了两种基于随机投影的张量环分解算法。实验结果表明，这两种算法具有较高的压缩性，可应用于深度学习数据集压缩和高光谱图像重建等领域。

Jan, 2019

宽压缩：张量环网络

本文介绍了一种基于 Tensor Ring Networks（TR-Nets）的神经网络压缩方法，通过在深度学习模型的全连接层和卷积层中应用该方法，能够显著地减少网络的计算和存储需求，且在保证模型准确率的前提下，能将模型的体积压缩数百倍，极大提升模型在资源受限设备上的可用性。

Feb, 2018

利用环结构网络学习高效张量表示

提出一种称为张量环表示的新型张量分解的网络结构，该结构采用低阶核张量的循环多线性乘积，通过低秩近似的方法来有效地学习张量环表示，可以在计算上更有效地执行基本操作，并且通过与现有的张量列网络相比实验结果表明，该模型更具表达能力和一致性信息。

May, 2017

高速卷积神经网络的自动排名选择

本文提出了一种通过组合优化实现网络复杂度最小化以及保持精度不变的方案，利用线性近似的精度函数预测了优化后 CNN 模型的精度，并在 AlexNet 和 VGG-16 上的实验结果表明，与截断 SVD 算法相结合，我们提出的排名选择算法在推理和训练时间方面优于现有技术。

Jun, 2018

张量环分解

本文介绍了一种基本的张量分解模型：张量环分解，它能够通过一系列低维张量核的圆形多线性乘积来代表高维张量，并能够实现循环维度置换不变性，同时与 TT 分解具有相似的广泛表示能力。文章通过四种不同的算法对潜在核的优化进行了讨论，并探究了 TR 模型的数学性质。最后，在综合数据集上的实验验证了不同算法的性能。

Jun, 2016