Jul, 2019

AutoCompress: 一款用于超高压缩率的自动 DNN 结构剪枝框架

PDF
TL;DR本文提出 AutoCompress，一种自动结构化剪枝框架，可实现超高剪枝比率，同时提供自动超参数确定过程，以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法，并提出了一种新的附加净化步骤，无需损失准确性进行更进一步的权重减少，其有效的启发式搜索方法通过基于经验的指导搜索进行增强，代替了具有潜在不兼容性的问题的先前深度强化学习技术。
发现论文，激发创造
  • StructADMM: DNNs 的结构化权重剪枝的系统性、高效性框架

    提出了一个系统性的结构裁剪框架来优化 DNNs，使用随机梯度下降和 ADMM，可以以更高的加速度进行优化，即使在一些有损准确性的情况下，模型的压缩率也能达到 15.0 倍。

    Jul, 2018

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 用动态结构化剪枝方法压缩深度增强学习网络在自动驾驶中的应用

    利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能

    Feb, 2024

  • 渐进式 DNN 压缩：使用 ADMM 实现超高剪枝和量化率的关键

    通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

    Mar, 2019

  • 非结构化 DNN 模型权重剪枝 -- 在任何平台上都是有益的吗？

    本文提出了一种 ADMM-NN-S 的新方法来进行深度神经网络的权值剪枝和量化，在多个数据集上通过非结构化和结构化剪枝实验得出，在存储和计算效率上，非结构化剪枝不如结构化剪枝。

    Jul, 2019

  • ResNet 裁剪 60 倍：引入网络净化和剔除未使用路径（P-RM）在权重裁剪之后

    提出一种融合 ADMM 算法和滤波器和列剪枝技术的 DNN 框架，包括网络净化和未使用通路去除算法，可在 LeNet-5、ResNet-18 CIFAR-10 和 AlexNet 上实现 232 倍、60 倍和 5 倍的压缩，以减少 DNN 框架资源的高计算和大内存存储的挑战。

    Apr, 2019

  • 可编程的神经网络压缩方法

    本文介绍了一种名为 Condensa 的可编程模型压缩系统，可以通过程序化组合简单的操作符来构建更复杂和实际的压缩策略，并使用贝叶斯优化算法自动推断最佳稀疏度，实验结果表明，该系统可以在保持较高准确率的前提下，将存储占用和运行时间分别提高 188 倍和 2.59 倍。

    Nov, 2019

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • 面向硬件特定的神经网络自动压缩技术

    使用强化学习方法的算法框架 Galen，可以自动压缩特定硬件目标的神经网络模型，不仅支持修剪、量化等压缩方法的联合搜索，还将目标硬件设备上的推理延迟作为优化目标，通过该方法能够将 CIFAR-10 上的 ResNet18 模型，在嵌入式 ARM 处理器上推理延迟仅为原始延迟的 20%，精度损失不大。

    Dec, 2022

  • Compresso: 结构化剪枝与合作促使学习紧凑的大型语言模型

    通过合作的剪枝算法和大型语言模型自身，在数据收集和训练成本昂贵的挑战下，Compresso 通过在训练过程中学习最优的剪枝决策以及引入协同提示进一步增强了剪枝算法，成功将 LLaMA-7B 剪枝至 5.4B，并在阅读理解上超过 LLaMA-7B2.62%，在共同推理、阅读理解、MMLU 和 BBH 基准测试上分别获得了 2.21%、11.43%、7.04% 和 4.81% 的更高分数，明显优于一次性剪枝基线。

    Oct, 2023