基于GPU张量核心的大型语言模型高效任意精度加速

Sep, 2024

基于GPU张量核心的大型语言模型高效任意精度加速

Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores

Shaobo Ma, Chao Fang, Haikuo Shao, Zhongfeng Wang

TL;DR该研究解决了大型语言模型在高效推理过程中面临的挑战，尤其是在超低比特量化和内存管理方面的限制。提出了一种新颖的双极INT数据格式和任意精度矩阵乘法方案，显著提升了GPU张量核心的利用率，并通过高效的内存管理系统实现了最大化的执行速度。实验结果表明，该方法在矩阵乘法上可达到高达13倍的加速，并在大型语言模型中实现了高达6.7倍的推理加速。

Abstract

Large Language Models (LLMs) have been widely applied but face challenges in efficient inference. While Quantization methods reduce computational demands, ultra-low bit →

发现论文，激发创造

SqueezeLLM：紧密稀疏量化

通过引入SqueezeLLM后训练的量化框架，该框架不仅实现了高达3位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。

Jun, 2023

在GPU上实现快速2位硬件离线量化低内存映射：内存对齐、稀疏离群值和异步解量化

通过以较小的计算代价解决对大型语言模型（LLMs）进行量化和去量化操作时所面临的问题，我们提出了一种新的技术，并在不同模型和尺寸上进行了广泛实验，成功实现了每个权重的2.85位表示，模型的端到端加速比为1.74倍，同时降低了运行成本和硬件需求。

Nov, 2023

FP6-LLM: 通过FP6中心算法系统共同设计高效服务大型语言模型

通过提出的TC-FPx全栈GPU核心设计方案，结合张量核心支持，为量化的大型语言模型推理提供全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间的更好平衡。

Jan, 2024

TP感知的去量化

通过优化的推断部署方案，在分布式部署大型语言模型时减少了模型推断延迟。

Jan, 2024

快速：量化感知的交错和无冲突内核用于高效LLM推理

QUICK是一组新型优化的CUDA内核，用于高效推理量化的大型语言模型。QUICK解决了现有混合精度矩阵乘法内核中的共享内存冲突问题，通过离线交错量化的权重矩阵跳过解量化后的共享内存写回。我们展示了在较大批次上相对于AutoAWQ现有内核的高达1.91倍的加速效果，并在各种NVIDIA GPU设备上相对于代表性LLM模型获得高达1.94倍的吞吐量提升。

Feb, 2024

FlattenQuant: 通过Per-tensor 量化来突破大型语言模型的推断计算限制

使用FlattenQuant方法在大型语言模型中实现低比特量化，通过将张量中的大通道展平以显著减少张量的最大值，本方法能够直接使用4位来实现LLMs中线性层计算的48.29%，并使用8位来处理其余层，从而实现高达2倍的速度提升和2.3倍的内存减少，而准确度损失微不足道。

Feb, 2024

LLM-PQ：利用多阶段感知分割和自适应量化为异构集群提供LLM

LLM-PQ是一个提倡自适应模型量化和阶段感知模型分区的系统，旨在通过在异构GPU集群上提高LLM的服务效率。通过混合精度模型量化、阶段感知模型分区和微批量大小的决策，LLM-PQ大大提高了推理吞吐量，同时满足用户指定的模型质量目标。对11个不同集群上的生产推理工作负载进行的大量实验表明，LLM-PQ在推理上实现了高达2.88倍（平均2.26倍）的吞吐量改进，显示出较其他最先进方法的巨大优势。

Mar, 2024

通过张量分解和运行时重新定量化加速大型语言模型

基于算法和硬件协同设计的解决方案Tender，能够以低精度有效部署LLM推理，通过分析LLMs中的异常值，提出了一种分解的量化技术，其分解矩阵的尺度因子相隔为二的幂，该方案避免了显式的重新量化，并且在现有加速器中具有更高的准确性和推理性能，同时降低了干扰。

Jun, 2024

ABQ-LLM：大型语言模型的任意位量化推理加速

本研究解决了大型语言模型推理中由于内存和计算需求高而导致的应用限制，通过引入一种新型的任意位量化算法和推理框架ABQ-LLM。该框架在不同量化设置下表现出色，并能够高效实现任意精度的量化推理，显著提高了 GPU 上低比特宽度执行的性能。最重要的发现是，ABQ-LLM在LLaMA-7B模型上的 W2*A8 量化配置下，获得了比以往方法更高的加速和内存压缩效果。

Aug, 2024

MARLIN：大型语言模型的混合精度自回归并行推断

本研究解决了在多用户并行推断中，基于量化的混合精度推断效率问题。通过设计混合精度自回归线性内核MARLIN，本文证明在批量推断中可以实现显著的速度提升，最高可达$4\times$，并通过与vLLM服务引擎的集成，实现整体推断速度提高至$2.8\times$。该方法为大规模语言模型的高效部署提供了新的解决方案。

Aug, 2024