量化感知训练中的通道修剪：自适应投影梯度下降缩减分裂方法

Apr, 2022

量化感知训练中的通道修剪：自适应投影梯度下降缩减分裂方法

Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method

Zhijian Li, Jack Xin

TL;DR提出了一种自适应投影 - 梯度下降收缩分割方法 (APGDSSM)，该方法将基于惩罚的通道剪枝集成到量化感知训练 (QAT) 中。APGDSSM 同时搜索量化子空间和稀疏子空间中的权重，并使用收缩算子和分割技术创建稀疏权重，以及使用 Group Lasso 惩罚将权重稀疏性推入通道稀疏性。此外，提出了一种新颖的补充变换 L1 惩罚方法以稳定极端压缩训练。

Abstract

We propose an adaptive projection-gradient descent-shrinkage-splitting method (APGDSSM) to integrate penalty based channel pruning into quantization-aware training (QAT). APGDSSM concurrently searches weights in both the quantized subspace and the sparse subspace. APGDSSM uses shrinkag

channel pruning quantization-aware training group lasso penalty sparse weights transformed l1 penalty

发现论文，激发创造

深度神经网络的鉴别感知通道剪枝

介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

Oct, 2018

渐进式通道收缩网络

本文提出了一种逐步通道压缩（PCS）方法，以在运行时动态压缩选定的显著度条目，代替粗略地将它们近似为零。并提出一种运行缩小策略，提供一种测试静态的修剪方案，可以减少滤波器索引的内存访问成本，结果表明 PCS 在图像分类任务中超越了所有基线，并在压缩性能平衡方面（tradeoff）达到了最新的性能，实现了显著的推理加速。

Apr, 2023

深度网络的多损失感知通道剪枝

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

通道维度 Hessian 感知迹加权量化神经网络

通过使用通道数量更少的针对 Hessian 迹的量化方法，结合使用基于深度强化学习的代理寻找最佳量化位和通道分配的方法，可以获得更好的结果。

Aug, 2020

数据并行 SGD 的自适应梯度量化

通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

Oct, 2020

量化自适应次梯度算法及其应用

为了在分布式模型训练中平衡通信成本、模型容量和模型性能，本文提出了分布式训练的量化复合镜像下降自适应子梯度（QCMD adagrad）和量化正则化双均值自适应子梯度（QRDA adagrad）算法，利用梯度量化和稀疏模型降低每次迭代中的通信成本，并构建一个基于梯度的量化自适应学习率矩阵来实现通信成本、准确性和模型稀疏性之间的平衡，同时采用了阈值量化策略来提高信噪比和保持模型的稀疏性。

Aug, 2022

梯度下降剪枝神经网络

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

运算感知的可微分掩码软通道剪枝

本论文提出了一种简单而有效的数据驱动信道剪枝算法，该算法通过利用操作的特性以可微分的方式压缩了深度神经网络，并对批次归一化和修正线性单元进行了联合考虑，以评估连接每个特征图的两个连续操作关闭其的可能性并修剪概率高的信道。

Jul, 2020

使用注意力统计方法剪枝通道的深度神经网络压缩技术 PCAS

本研究提出了一种基于注意统计的简单通道剪枝技术，使用单个压缩比替代每层模型的分析，实现了自动通道选择，取得了超越常规方法的性能提升，训练不同模型和数据集的结果表明该方法减少了计算成本且更加准确。

Jun, 2018

AdpQ：一种无需校准自适应后训练量化方法

本研究提出了一种名为 AdpQ 的零样本自适应 PTQ 方法，通过采用自适应软阈值方法分离显著权重，实现低精度量化（如 3 位）中无需任何校准数据的最先进性能，进一步提供隐私保护优势，而且在各种 LLM 基准测试中达到与现有方法相同的准确性，即使量化时间缩短至少 10 倍。

May, 2024