ICMLMay, 2019

基于克罗内克因子分解本征基的结构化剪枝

PDF
TL;DR介绍了基于 Kronecker - 分解的特征基 (KFE) 的网络重参数化方法，并应用于基于 Hessian 的结构化剪枝方法，实现在 KFE 上进行不同权重近似独立、精确修剪和快速计算，实验证明了该方法的有效性，特别是在挑战数据集和网络上，迭代修剪版本可以在几乎没有准确度损失的情况下使模型大小减少 10 倍，FLOPs 减少 8 倍。
neural networktest timeresource-constrained deviceshessian-based structured pruningmodel size
发现论文，激发创造
  • 基于 Hessian 剪枝的资源高效神经网络

    使用 FP16 精度代替 FP32 实现变异矩阵迹快速估算的剪枝方法可以加快计算速度并缩小 GPU 内存占用，在不影响模型性能的情况下，可以进一步使用 QAT 技术对模型进行压缩。

    Jun, 2023

  • 在克罗内克分解的特征基上进行快速近似自然梯度下降

    本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。

    Jun, 2018

  • 基于 Hessian 的剪枝和最优神经植入

    本文章提出了一种新的基于 Hessian Aware Pruning 和神经植入的方法来减小神经网络模型的内存占用和浮点运算数，该方法利用二阶灵敏度作为结构化剪枝的度量标准，测试结果表明，在计算机视觉任务和自然语言处理任务中，即使 70% 的参数剪枝，模型的精度也能够在 0.1%/0.5% 以内的误差范围内，而且在头部剪枝方面效果也显著。

    Jan, 2021

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 特征修剪

    我们介绍了一种叫做 eigenpruning 的方法，它从 LLM 中移除特定任务中的奇异值，以提高其性能。这种方法受到解释性方法的启发，旨在自动找到解决特定任务的模型的子网络。在我们的测试中，经过修剪的模型在性能上远远优于原始模型，而仅需进行最少的计算来修剪权重矩阵。对于一个小的合成任务，即整数乘法，Phi-2 模型可以将测试集的准确率从 13.75％提高到 97.50％。有趣的是，这些结果似乎表明存在一种非常有效地解决任务的计算路径，但原始模型未使用。最后，我们计划在我们的工作的最终版本中开源我们的实现。

    Apr, 2024

  • 通过雅可比谱评估一次性剪枝递归神经网络

    这篇论文通过引入一种基于循环雅可比谱的新的循环网络修剪目标，提出了一种高效数据、易于实现的处理方案，能够解决循环网络修剪中的定量和定性问题，并在连续 MNIST、十亿词、Wikitext 等任务中取得了长足进展。

    Nov, 2019

  • 深度网络剪枝的几何视角：有多稀疏可以剪枝？

    本文研究了深度神经网络的过度参数化问题，提出了一种全局一次性网络剪枝算法，并通过计算高维几何中的正交宽度来确定剪枝比率的相变点，该值等于基于 $l_1$ 正则化损失函数的某个凸体的平方高斯宽度除以参数的原始维度。

    Jun, 2023

  • NeuralEF: 通过深度神经网络解构卷积核

    论文研究了一个新的、广义的针对函数空间的目标函数，应用于机器学习中核函数和数据分布定义的积分算子的主特征向量的训练。该方法通过近似高斯牛顿矩阵来实现线性化的深度神经网络在现代图像分类数据集上的扩展，能够提供对多元函数的准确逼近。

    Apr, 2022

  • 通过神经元选择对递归神经网络进行结构化剪枝

    通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

    Jun, 2019

  • 基于集合知识引导的子网络搜索和微调用于滤波器剪枝

    本文提出一种基于集成知识引导的删减算法 (EKG)，通过评估不同子网络的损失波动情况搜索最佳的子网络并实现后续的剪枝及微调，仅需 315 GPU 小时即可在不降低性能的情况下移除约 45.04% 的 FLOPS。

    Mar, 2022