FlattenQuant: 通过Per-tensor 量化来突破大型语言模型的推断计算限制

Feb, 2024

FlattenQuant: 通过Per-tensor 量化来突破大型语言模型的推断计算限制

FlattenQuant: Breaking Through the Inference Compute-bound for Large Language Models with Per-tensor Quantization

Yi Zhang, Fei Yang, Shuang Peng, Fangyu Wang, Aimin Pan

TL;DR使用FlattenQuant方法在大型语言模型中实现低比特量化，通过将张量中的大通道展平以显著减少张量的最大值，本方法能够直接使用4位来实现LLMs中线性层计算的48.29%，并使用8位来处理其余层，从而实现高达2倍的速度提升和2.3倍的内存减少，而准确度损失微不足道。

Abstract

large language models (LLMs) have demonstrated state-of-the-art performance across various tasks. However, the latency of inference and the large GPU memory consumption of LLMs restrict their deployment performance. Recently, there have been some efficient attempts to quantize LLMs, ye

发现论文，激发创造

SmoothQuant：大型语言模型后训练量化的准确高效算法

SmoothQuant是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现LLMs的8位权重和激活（W8A8）量化，同时提高硬件效率，以较小的精度损失实现高达2倍的内存减少和1.56倍的加速，是一个可降低硬件成本、民主化LLMs的一站式解决方案。

Nov, 2022

SqueezeLLM：紧密稀疏量化

通过引入SqueezeLLM后训练的量化框架，该框架不仅实现了高达3位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。

Jun, 2023

FineQuant: 低精度量化后全连接网络权重细粒度优化

为了解决大型语言模型在实际应用中的内存需求和推断成本的问题，我们提出了一种高效的仅权重量化方法，通过减少内存消耗和加速推断来实现。我们引入了一种简单而有效的启发式方法，仅利用预训练模型的模型权重来确保最小质量降低。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过分析量化大型语言模型的挑战和问题，并采用自适应的量化粒度进行解决，我们展示了我们提出的方法的有效性。此外，我们实现了高效的GPU矩阵乘法和解量化算法，支持fp16或bf16激活与int8或int4权重的乘法。我们在OPT-175B和内部混合专家模型等大规模开源模型上评估了我们的方法，展示了最小的准确性损失，并在相同数量的GPU上实现了高达3.65倍的吞吐量。

Aug, 2023

SmoothQuant+: 精确高效的LLM后训练4位权重量化

提出了SmoothQuant+方法，它是一种准确而高效的4位权重量化方法，能够无损地减小大语言模型的内存开销，并且在精确度上没有损失。通过SmoothQuant+，Code Llama-34B模型能够在一张A100 40GB GPU上实现无损的准确度，并且相较于在两张A100 40GB GPUs上部署的FP16模型，能够提高1.9至4.0倍的吞吐量，每个token的延迟仅为FP16模型的68%。这是已知的大语言模型4位权重量化的最先进方法。

Dec, 2023

FP6-LLM: 通过FP6中心算法系统共同设计高效服务大型语言模型

通过提出的TC-FPx全栈GPU核心设计方案，结合张量核心支持，为量化的大型语言模型推理提供全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间的更好平衡。

Jan, 2024

基于矩阵分解的数据无关低位量化用于KV缓存压缩的解锁

通过基于张量分解的新型无数据量化技术DecoQuant，我们成功压缩了大型语言模型中的KV缓存，提高了推理效率并保持相当的生成质量，并实现了高精度表示和低位量化的有机结合。

May, 2024

通过张量分解和运行时重新定量化加速大型语言模型

基于算法和硬件协同设计的解决方案Tender，能够以低精度有效部署LLM推理，通过分析LLMs中的异常值，提出了一种分解的量化技术，其分解矩阵的尺度因子相隔为二的幂，该方案避免了显式的重新量化，并且在现有加速器中具有更高的准确性和推理性能，同时降低了干扰。

Jun, 2024

ABQ-LLM：大型语言模型的任意位量化推理加速

本研究解决了大型语言模型推理中由于内存和计算需求高而导致的应用限制，通过引入一种新型的任意位量化算法和推理框架ABQ-LLM。该框架在不同量化设置下表现出色，并能够高效实现任意精度的量化推理，显著提高了 GPU 上低比特宽度执行的性能。最重要的发现是，ABQ-LLM在LLaMA-7B模型上的 W2*A8 量化配置下，获得了比以往方法更高的加速和内存压缩效果。

Aug, 2024

基于GPU张量核心的大型语言模型高效任意精度加速

该研究解决了大型语言模型在高效推理过程中面临的挑战，尤其是在超低比特量化和内存管理方面的限制。提出了一种新颖的双极INT数据格式和任意精度矩阵乘法方案，显著提升了GPU张量核心的利用率，并通过高效的内存管理系统实现了最大化的执行速度。实验结果表明，该方法在矩阵乘法上可达到高达13倍的加速，并在大型语言模型中实现了高达6.7倍的推理加速。

Sep, 2024

面向低比特通信的张量并行大语言模型推理

该研究旨在解决服务器大型语言模型推理中日益增长的通信成本问题。提出了一种新的量化方法，能够将通信值的比特数从16位减少到4.2位，同时几乎保留原始性能。研究结果显示，该方法平均能够保持约98.0%和99.5%的原始性能，具有显著的应用潜力。

Nov, 2024