ADA-Tucker：透过自适应维度调节 Tucker 分解压缩深度神经网络

Jun, 2019

ADA-Tucker：透过自适应维度调节 Tucker 分解压缩深度神经网络

ADA-Tucker: Compressing Deep Neural Networks via Adaptive Dimension Adjustment Tucker Decomposition

Zhisheng Zhong, Fangyin Wei, Zhouchen Lin, Chao Zhang

TL;DR本文提出一种自适应的维度调整 Tucker 分解网络压缩方法（ADA-Tucker）和其扩展模型 Shared Core ADA-Tucker（SCADA-Tucker），通过学习的核心张量和转换矩阵，实现对高维张量的分解，以及在无需记录非零元素索引的情况下，使 LeNet-5 和 LeNet-300 的存储分别降低了 691 倍和 233 倍，进一步在其他三个基准测试（CIFAR-10，SVHN，ILSVRC12）和现代深度网络（ResNet，Wide-ResNet）上获得了良好的效果。

Abstract

Despite the recent success of deep learning models in numerous applications, their widespread use on mobile devices is seriously impeded by storage and computational requirements. In this paper, we propose a nove

deep learning network compression tucker decomposition storage reduction mobile devices

发现论文，激发创造

基于张量分解的 DNN 模型压缩及优化框架

本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

Jul, 2021

AdaDeep: 一种面向应用的、自动化的深度模型压缩框架，以实现普适智能移动

AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

Jun, 2020

三维医学图像分割的训练后网络压缩：通过 Tucker 分解减少计算工作量

通过张量分解研究网络压缩的有效性，我们提出了一种后训练 Tucker 分解方法，以减少预先存在模型的计算要求，而不会影响分割准确性。这种方法能够在计算效率和分割质量之间提供可调节的权衡，并且适用于医学图像分割模型的计算需求降低。

Apr, 2024

可分解网络：神经网络可扩展低秩压缩

本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

Oct, 2019

深度神经网络压缩的量化可知因式分解

使用张量分解和量化相结合的方法，通过交替方向乘数法来压缩神经网络的权重，实现在保持预测质量的同时减少参数和计算量，并展示出与现有后训练量化方法相比的竞争性结果和高灵活性的优势。

Aug, 2023

AdaComp：自适应残差梯度压缩用于数据并行分布式训练

本文提出了自适应残差梯度压缩（AdaComp）技术，能够在多个领域、数据集、优化器和网络参数上显著地提高深度学习模型的性能，实现全连接层和循环层的端到端压缩率约 200 倍，卷积层的压缩率约 40 倍。

Dec, 2017

STN: 通过结构感知训练和自适应压缩实现可扩展的张量网络

本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。

May, 2022

Mixed-TD：具有层特定张量分解的高效神经网络加速器

本文提出了一种基于混合张量分解方法 (Mixed-TD) 将卷积神经网络 (CNN) 映射到 FPGA 上的框架，该方法采用了层特定的奇异值分解 (SVD) 和标准分解 (CPD)，每个 DSP 可以实现与最先进的 CNN 的 1.73x 至 10.29x 的吞吐量。

Jun, 2023

面向移动应用的快速低功耗深度卷积神经网络压缩

提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015

LayerCollapse：神经网络的自适应压缩

利用 LayerCollapse 方法进行适应性模型压缩，通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换，同时减少层数和参数数量，提高模型效率；引入压缩感知正则化器，根据数据集质量和模型表现压缩模型，减少过拟合；实验证明 LayerCollapse 在多个细粒度分类基准测试中实现有效的压缩和正则化，最高在训练后压缩 74% 但准确度损失最小；与知识蒸馏方法对比，在 ImageNet 数据集上计算效率提高五倍，整体准确度提高 8%。

Nov, 2023