Dec, 2023

ASVD：用于压缩大型语言模型的激活感知奇异值分解

PDF
TL;DR这篇论文研究了一种新的后期无训练压缩范式，用于在各种计算环境中更广泛地采用压缩大型语言模型（LLMs）。我们探讨了 LLM 压缩的挑战，特别是它们对广泛的训练数据和计算资源的依赖。我们提出了一种称为激活感知奇异值分解（ASVD）的无训练方法来解决这些限制。ASVD 通过根据激活分布调整权重矩阵来有效管理激活异常值，提高分解的准确性和效率。我们的方法还解决了不同 LLM 层对分解的不同敏感性问题，通过迭代校准过程实现最佳的层特定分解。实验证明，ASVD 能够在不损失推理能力的情况下压缩网络 10%-20%。此外，它可以与其他 LLM 压缩范式无缝集成，展示了它的灵活兼容性。代码和压缩模型可以在此网址找到。
post-hoc training-free compressionlarge language models (llms)activation-aware singular value decomposition (asvd)decomposition accuracycomputing environments
发现论文，激发创造
  • SVD-LLM：大型语言模型压缩的截断感知奇异值分解

    提出了一种新的基于奇异值分解的大型语言模型压缩方法 SVD-LLM，它解决了现有方法的限制，并在高模型压缩比下展现了优越性能。

    Mar, 2024

  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 加权低秩分解语言模型压缩

    提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。

    Jun, 2022

  • 三元奇异值分解作为线性映射中更好的参数化形式

    我们提出了一种简单而新颖的参数化线性映射形式，称为 Ternary SVD（TSVD）。与传统的奇异值分解（SVD）不同，TSVD 限制了 SVD 中的 U 和 V 矩阵为三值矩阵形式（±1，0）。在计算 U（・）和 V（・）时，TSVD 仅需要加法指令，而无需昂贵的乘法指令。我们提供了直接转换算法和训练转换算法的过渡算法（如后训练量化和量化感知训练）。此外，我们理论上分析了直接转换算法的收敛性。在实验证明，TSVD 可以在各种类型的网络和任务中实现最先进的网络压缩性能，包括当前的基线模型，如 ConvNext、Swim、BERT 和大型语言模型 OPT。

    Aug, 2023

  • 重新思考压缩：大型语言模型中潜在特征的简化建模

    通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

    Dec, 2023

  • 统一图像修复的分解归因协同学习

    学习如何在单个模型中恢复多个图像退化是实际应用中非常有益的；因此，本文通过奇异值分解重新审视多样的图像退化，并提出了一种基于奇异向量和奇异值优化的协同学习方法 —— 分解归因协同学习（DASL），以实现各种图像恢复任务之间的潜在关系的利用。通过将 DASL 轻松整合到现有的卷积图像恢复骨干中，我们的方法在融合了五个图像恢复任务的广泛实验中表现出了有效性。

    Aug, 2023

  • 使用权重修剪和奇异值分解在嵌入式设备上的可扩展目标检测

    本文提出了一种将权重剪枝和奇异值分解相结合的方法来优化目标检测模型，作者通过与原始模型在帧率、mAP@50 和模型大小等方面性能的对比令其表现更加优越，进而证明该方法可以在保持准确性、速度和模型大小平衡的基础上有效地优化目标检测模型。

    Mar, 2023

  • 补偿量化误差：使权重分层以互相补偿

    Emergent Large Language Models (LLMs) use their extraordinary performance and powerful deduction capacity to discern from traditional language models.

    Jun, 2024

  • 压缩谱嵌入：避开 SVD

    本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

    Sep, 2015

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020