ICLRJun, 2022

加权低秩分解语言模型压缩

PDF
TL;DR提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。
singular value decompositionfisher informationmodel compressiontask accuracytransformer-based language models
发现论文，激发创造
  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • DSFormer: 通过密集稀疏权重分解实现文本 Transformer 的有效压缩

    DSFormer 是一种新型的低秩矩阵分解和半结构稀疏矩阵乘积方法，针对大型 Transformer 模型的成本效益问题提供了更强的效率 - 准确度平衡，并在自然语言理解任务中实现了比现有方法更高的压缩率和任务准确度。

    Dec, 2023

  • 卷积权重的奇异值分解：一种 CNN 可解释性框架

    本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

    Aug, 2022

  • 压缩谱嵌入：避开 SVD

    本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

    Sep, 2015

  • 语言模型压缩的低秩剪枝和分解

    利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

    Jun, 2023

  • SVD-LLM：大型语言模型压缩的截断感知奇异值分解

    提出了一种新的基于奇异值分解的大型语言模型压缩方法 SVD-LLM，它解决了现有方法的限制，并在高模型压缩比下展现了优越性能。

    Mar, 2024

  • ASVD：用于压缩大型语言模型的激活感知奇异值分解

    这篇论文研究了一种新的后期无训练压缩范式，用于在各种计算环境中更广泛地采用压缩大型语言模型（LLMs）。我们探讨了 LLM 压缩的挑战，特别是它们对广泛的训练数据和计算资源的依赖。我们提出了一种称为激活感知奇异值分解（ASVD）的无训练方法来解决这些限制。ASVD 通过根据激活分布调整权重矩阵来有效管理激活异常值，提高分解的准确性和效率。我们的方法还解决了不同 LLM 层对分解的不同敏感性问题，通过迭代校准过程实现最佳的层特定分解。实验证明，ASVD 能够在不损失推理能力的情况下压缩网络 10%-20%。此外，它可以与其他 LLM 压缩范式无缝集成，展示了它的灵活兼容性。代码和压缩模型可以在此网址找到。

    Dec, 2023

  • 从压缩测量中恢复谱特征的描绘 SVD

    本文考虑一种流式数据模型，通过计算奇异值分解和草图矩阵，获得与原始数据矩阵非常接近的奇异值和奇异向量。同时，将其应用于流图算法来近似计算具有低秩的计算机网络图 Laplacian 的特征值和特征向量。

    Nov, 2012

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024