Jan, 2024

紧凑 AI：使用量子启发的张量网络对大型语言模型进行极致压缩

PDF
TL;DR该研究介绍了一种创新的 LLM 压缩方法，使用量子启发的张量网络来压缩模型的相关空间，实现对 LLaMA-2 7B 模型的压缩，使其仅保留原始大小的 30%，并在经过简要分布式重新训练后恢复原始准确率的 90% 以上。
large language modelscompression methodscompactifaitensor networksllama-2 7b model
发现论文，激发创造
  • 大型语言模型的模型压缩与高效推理：调研

    这篇论文研究了大型语言模型的压缩和高效推理方法，介绍了分类为量化、修剪、蒸馏、紧凑架构设计和动态网络的压缩和加速算法，并提出了中型模型和真正大型模型的区分。此外，还介绍了一些用于大型模型高效推理的成熟框架，可以支持基本的压缩或加速算法，极大地方便了用户的模型部署。

    Feb, 2024

  • 压缩 LLMs：真实很少纯粹而简单

    尽管现代大型语言模型在取得显著成就的同时遇到了过高的计算和内存占用问题，但最近的研究工作展示了基于裁剪和量化的无需训练和无需数据的压缩方法在压缩大型语言模型方面取得了显著成功。本研究介绍了一种名为 LLM-KICK 的压缩语言模型评估协议，通过其揭示了当前最先进的压缩方法的优点和缺点，并展示了稀疏化和量化对于语言理解、推理、生成、检索和摘要等任务的影响。我们希望这项研究能够促进更好的语言模型压缩方法的发展。

    Oct, 2023

  • 自然语言理解的量化感知和张量压缩 Transformer 训练

    该论文提出了一种量化感知张量压缩训练方法，通过将 Transformer 模型的嵌入层和线性层压缩成小的低秩张量核，进一步获得低精度的模型表示进行端到端和蒸馏 - based 训练，并应用层与层的蒸馏方法将预训练的 Transformer 模型转换为量化和张量压缩的学生模型以提高收敛速度，并在两个自然语言理解任务中表现出高达 63 倍的压缩比、几乎无损的精度损失和显著的推断和训练加速。

    Jun, 2023

  • 关于量化大型语言模型的可压缩性

    通过应用数据压缩技术来减少数据传输，从而提高在内存受限设备上量化化的大型语言模型推理的速度。

    Mar, 2024

  • 通过量化实现生成预训练语言模型的压缩

    本文介绍了一种基于量化的压缩生成式语言模型的方法，该方法使用了基于 token 的对比 distillation 技术学习可区分的单词嵌入，并提出了一个基于模块的动态缩放技术，适应不同模块的量化器，实验结果表明该方法在各种任务上性能优于基准方法，并且实现了 14.4x 和 13.4x 的压缩率，与全精度模型具有可比性。

    Mar, 2022

  • QLLM：用于大型语言模型的准确高效低比特量化

    通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

    Oct, 2023

  • 大型语言模型的零数据压缩和降噪

    基于大型语言模型的权重分解以及压缩方法，通过新的无需语料库参与、保持正交性的数据无关联 Rank-k 近似方法，成功压缩了 80% 的参数并保留了原始性能的 93.43%。同时，对经过 Rank-k 近似的权重矩阵进行了深入研究以验证假设。

    Feb, 2024

  • SqueezeLLM：紧密稀疏量化

    通过引入 SqueezeLLM 后训练的量化框架，该框架不仅实现了高达 3 位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。

    Jun, 2023

  • 大型语言模型的极端压缩：基于加性量化

    该研究中，我们将经典的多码本量化方法应用于语言模型的压缩，实现了对开放式大规模语言模型的极端压缩，提高了在给定压缩预算下的准确性。

    Jan, 2024

  • LLM-QAT: 大型语言模型的无数据量化感知训练

    通过提出一种数据无关的蒸馏方法，利用预训练模型生成的结果来实现对语言模型低位量化，包括权重、激活值和 KV Cache，该方法比已有的基于训练后量化和无训练量化方法更适用于低精度位级下的大型语言模型。

    May, 2023