Apr, 2023

RPTQ: 基于重排序的后训练量化方法用于大型语言模型

PDF
TL;DR本文提出了一种新的基于重新排序的量化方法 RPTQ，用于解决大规模语言模型序列的激活范围之间的不同，从而将其缩小到 3 位激活，减少存储和计算的开销。
large-scale language modelsquantizationrptqactivation rangesmodel size
发现论文，激发创造
  • QLLM：用于大型语言模型的准确高效低比特量化

    通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

    Oct, 2023

  • 评估量化的大型语言模型

    本论文通过对 PTQ 技术在 11 个模型家族的综合评估，系统总结了量化对权重、激活函数和 KV Cache 的影响，提供了应用量化技术的建议，指出了未来的研究方向。

    Feb, 2024

  • RepQuant: 基于尺度重参数化的大型 Transformer 模型准确的后训练量化

    提出了一种新型的后训练量化框架 RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。

    Feb, 2024

  • 大语言模型中的权重量化激活异常值教训

    本文提出了一种后训练量化方法，可以在不损失质量的情况下，在模型中针对 weight 使用较高的精度，大大降低了模型推理需要的 GPU 数量，实现了更高的经济性。

    Jun, 2023

  • LLM 的低秩量化感知训练

    大型语言模型经常遇到计算和存储需求增加的挑战，为此我们提出了一种名为 LR-QAT 的轻量级、存储高效的量化感知训练算法，通过使用低秩辅助权重、固定点或双包整数的强制转换运算符以及检查点等组件，我们可以在不牺牲预测性能的情况下节省内存，该方法可应用于多种量化设置并与多种 PTQ 技术无缝结合，有效提升模型性能并在内存使用上达到与全模型 QAT 相当的水平。

    Jun, 2024

  • OutlierTune: 大语言模型的高效通道量化

    OutlierTune 是一种针对 LLMs 激活的高效后训练量化方法，它通过预执行去量化和对称化两个组件，解决了大规模语言模型的激活量化准确性和硬件效率问题。

    Jun, 2024

  • 结合多种后训练技术实现最高效的量化 LLMs

    通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加 1-3% 的困惑度。

    May, 2024

  • 大型语言模型的后训练量化综合研究

    通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4 比特）更强大。

    Mar, 2023

  • CBQ：大型语言模型的跨块量化

    基于交叉块重建的后训练量化方法 (CBQ) 通过优化量化参数和降低重构困难来提高大规模语言模型的效率和性能。

    Dec, 2023

  • SmoothQuant：大型语言模型后训练量化的准确高效算法

    SmoothQuant 是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现 LLMs 的 8 位权重和激活（W8A8）量化，同时提高硬件效率，以较小的精度损失实现高达 2 倍的内存减少和 1.56 倍的加速，是一个可降低硬件成本、民主化 LLMs 的一站式解决方案。

    Nov, 2022