LLM-PQ：利用多阶段感知分割和自适应量化为异构集群提供 LLM

Mar, 2024

LLM-PQ：利用多阶段感知分割和自适应量化为异构集群提供 LLM

LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization

Juntao Zhao, Borui Wan, Yanghua Peng, Haibin Lin, Chuan Wu

TL;DRLLM-PQ 是一个提倡自适应模型量化和阶段感知模型分区的系统，旨在通过在异构 GPU 集群上提高 LLM 的服务效率。通过混合精度模型量化、阶段感知模型分区和微批量大小的决策，LLM-PQ 大大提高了推理吞吐量，同时满足用户指定的模型质量目标。对 11 个不同集群上的生产推理工作负载进行的大量实验表明，LLM-PQ 在推理上实现了高达 2.88 倍（平均 2.26 倍）的吞吐量改进，显示出较其他最先进方法的巨大优势。

Abstract

Recent breakthroughs in large-scale language models (LLMs) have demonstrated impressive performance on various tasks. The immense sizes of LLMs have led to very high resource demand and cost for running the models. Though the models are largely served using uniform high-caliber GPUs no

large-scale language models llm-pq heterogeneous cluster model quantization inference throughput

发现论文，激发创造

APTQ：针对大型语言模型的注意力感知后训练混合精度量化

通过引入 APTQ（关注感知的后训练混合精度量化），该研究提出了一种在大规模语言模型上进行混合精度量化的方法，利用 Hessian 迹作为灵敏度指标，以实现在模型性能保持的前提下进行精度降低，并取得了优于以往量化方法的效果。

Feb, 2024

一种适用于所有的 QuantLLM: 为高效部署而进行的量化 LLM 微调

利用一次训练的一揽子模型，通过去耦合共享权重、使用低秩适配器、调节采样率等方式，减少大型语言模型的内存需求和训练时间，同时保持高性能。

May, 2024

SliM-LLM：面向大型语言模型的显著性驱动混合精度量化

本文提出了一种基于显著性驱动的混合精度量化方案，即 SliM-LLM，用于改进大型语言模型的精度和内存占用，并通过集成梯度量化器进一步减少困惑度。

May, 2024

QLLM：用于大型语言模型的准确高效低比特量化

通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

Oct, 2023

SqueezeLLM：紧密稀疏量化

通过引入 SqueezeLLM 后训练的量化框架，该框架不仅实现了高达 3 位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。

Jun, 2023

LLM-QBench: 大型语言模型后训练量化最佳实践基准测试

探索量化大型语言模型的最佳实践，平衡性能与计算效率。通过基准测试和实验，提出了与标定数据、量化算法和量化方案相对应的三个关键点，并构建了最佳的 LLM PTQ 流水线。

May, 2024

任意精度 LLM：低成本部署多个不同大小的 LLM

该研究论文介绍了 Any-Precision LLM 的概念，并提出了一种轻量级的 Any-Precision 量化方法，以及对应的软件引擎，有效地解决了多个不同大小 LLM 的部署成本问题。

Feb, 2024

大型语言模型的量化策略的全面评估

对大型语言模型的量化技术进行研究，发现 4 位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

CLAQ：推动 LLM 的低比特后训练量化极限

该论文介绍了一种基于列级适应性权重量化（CLAQ）框架的参数量化方法，通过引入三种不同的自适应策略，可以在大规模语言模型中减少内存占用和提高计算效率。实验结果表明，在不同比特设置下，尤其是在极低比特情况下，该方法能够取得最先进的结果。

May, 2024

基于低成本代理的混合精度自适应量化

该论文提出了一种名为 LCPAQ 的新型模型量化方法，其中包含三个关键模块。在考虑硬件限制的基础上设计了硬件感知模块，开发了自适应混合精度量化模块来评估量化灵敏度，并使用希狄矩阵和 Pareto 边界技术进行整数线性规划来微调不同层的量化。然后，低成本代理神经架构搜索模块高效探索理想的量化超参数。在 ImageNet 上的实验证明，提出的 LCPAQ 在量化精度方面达到了与现有混合精度模型相当甚至更好的水平。值得注意的是，与现有方法相比，LCPAQ 的搜索时间减少了 1/200，从而为资源有限设备的实际量化使用提供了捷径。

Feb, 2024