Apr, 2024

特征修剪

PDF
TL;DR我们介绍了一种叫做 eigenpruning 的方法，它从 LLM 中移除特定任务中的奇异值，以提高其性能。这种方法受到解释性方法的启发，旨在自动找到解决特定任务的模型的子网络。在我们的测试中，经过修剪的模型在性能上远远优于原始模型，而仅需进行最少的计算来修剪权重矩阵。对于一个小的合成任务，即整数乘法，Phi-2 模型可以将测试集的准确率从 13.75％提高到 97.50％。有趣的是，这些结果似乎表明存在一种非常有效地解决任务的计算路径，但原始模型未使用。最后，我们计划在我们的工作的最终版本中开源我们的实现。
发现论文，激发创造
  • 基于零特征值的损失函数训练深度神经网络

    通过无需特征分解的方法，在计算机视觉和深度学习领域中解决了特征分解操作难以优化的问题，并在关键点匹配和姿态估计等任务中取得了最新的成果。

    Mar, 2018

  • 无特征分解训练基于深度网络的线性最小二乘问题

    本文通过一种去除特征值分解的方法，解决了深度学习框架中的一个困境：如何在网络中显式编码已知的几何概念，并演示了此方法在多种实际情况下的鲁棒性和性能优越性。

    Apr, 2020

  • 基于克罗内克因子分解本征基的结构化剪枝

    介绍了基于 Kronecker - 分解的特征基 (KFE) 的网络重参数化方法，并应用于基于 Hessian 的结构化剪枝方法，实现在 KFE 上进行不同权重近似独立、精确修剪和快速计算，实验证明了该方法的有效性，特别是在挑战数据集和网络上，迭代修剪版本可以在几乎没有准确度损失的情况下使模型大小减少 10 倍，FLOPs 减少 8 倍。

    May, 2019

  • 基于互信息的逐层模型剪枝

    该论文提出的修剪策略通过从更全局的角度运作，基于顶层训练信号逐层传播全局信号，从而在相同稀疏度水平下获得更高的性能和更大的加速，避免了权重基础剪枝技术中的内存访问不规则性。

    Aug, 2021

  • 子空间节点修剪

    使用节点剪枝和子空间形成技术，该论文提出了可以在保持网络性能最大化的同时去除计算单元来提高深度网络的效率，通过重新组织网络和使用正交子空间来选择合适的剪枝比例，并在 VGG 和残差网络中验证了该方法的优越性。

    May, 2024

  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • 大型语言模型的简单有效剪枝方法

    本文介绍了一种名为 Wanda 的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性，并在 LLaMA 上进行全面评估，实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。

    Jun, 2023

  • 语言模型压缩的低秩剪枝和分解

    利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

    Jun, 2023

  • 领域特定的 LLM 提取器剪枝

    通过识别关键权重，提出了一种创新的针对特定领域的压缩方法 D-Pruner，通过提取关键权重，实现 Compressed, domain-specific 和 task-agnostic 的 LLM，具有广泛适用性和特定性。

    May, 2024

  • 神经网络剪枝作为谱保持过程

    通过矩阵稀疏化的过程，我们提出了适用于神经网络剪枝的矩阵稀疏化算法，以保留关键神经权重，从而为神经网络剪枝提供一个统一的理论基础，并提高了深度神经网络的可解释性。

    Jul, 2023