Feb, 2024

RepQuant: 基于尺度重参数化的大型Transformer模型准确的后训练量化

HTML
PDF
TL;DR提出了一种新型的后训练量化框架RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。
发现论文，激发创造
  • 理解和克服高效Transformer量化的挑战

    本文探讨了Transformer模型的量化问题，并给出了三种解决方法，其中一种基于embedding group的量化方法建立了新的量化模型，该方法可降低模型内存占用且保证了一定的精度。通过在GLUE基准测试中使用BERT，我们准确评估了这些方法的有效性，并提出了一种新的超低比特宽度的transformer权重和embedding的量化方法，以实现更大的内存节省。

    Sep, 2021

  • PTQ4ViT：基于双等距量化的视觉Transformer后训练量化框架

    本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。

    Nov, 2021

  • LLM.int8(): 用于大规模Transformers的8位矩阵乘法

    通过Int8矩阵乘法的程序，我们可以在保持全精度性能的前提下将推理所需的内存削减一半，使用LLM.int8()，我们可以展示出具有高达175B参数的LLMs性能无损推理的可能性，这一结果使得该模型更加易于使用并且可以在单个服务器上运行。

    Aug, 2022

  • 高效扩展Transformer推理

    该研究旨在提高Transformers模型的生成推理效率，并通过多维分区技术、低级优化等策略获得较佳的推理效率和FLOPS利用率权衡，从而支持Token的大批量处理和长文本生成。

    Nov, 2022

  • NoisyQuant：针对视觉Transformer的噪声偏置增强后训练激活量化

    NoisyQuant 是一种用于视觉变换器 post-training activation 量化性能增强的量化器不可知增强方法。它的理论是，在给定量化器的情况下，添加一个固定的均匀噪声偏差可以在可证明的条件下显着降低量化误差。基于这个理论，NoisyQuant 成功地通过添加增量噪声偏差来改变重尾激活分布并适应给定的量化器。大量实验展示了 NoisyQuant 在使视觉变换器进行 post-training quantization 时可以大幅度提高性能，而且计算成本较小。

    Nov, 2022

  • MPTQ-ViT：VisionTransformer的混合精度后训练量化

    提出了SmoothQuant with bias term (SQ-b)和optimal scaling factor ratio search (OPT-m)方法以及一种多精度后训练量化框架(MPTQ-ViT)，在ImageNet数据集上进行的实验表明，与现有方法相比，所提方法在4位和5位量化的ViTs上均取得了显著的准确度提高。

    Jan, 2024

  • 迈向超大规模Transformer的下一级后训练量化

    本文提出了一种新颖的PTQ算法aespa，通过逐层量化实现高效性，同时考虑跨层依赖以保留注意力分数，通过对多种语言模型的广泛实验和复杂度分析，证明了aespa在量化Transformer模型时具备准确性和高效性。

    Feb, 2024

  • FrameQuant: 柔性低位量化技术用于变换器

    通过引入从谐波分析中借用的融合框架的概念，我们提出了一种简化方案来将基于Transformer的模型量化为仅使用两位（加一些开销），并只在准确性上稍有降低，通过实验证明，此方案对Transformer模型的量化几乎可以实现显著的效率提升。

    Mar, 2024

  • PTQ4DiT：扩散变压器的后训练量化

    为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salience Balancing（CSB）和 Spearmen's ρ-guided Salience Calibration（SSC）来解决 DiTs 中存在的通道不平衡和时间变化的挑战，并通过离线重新参数化策略降低了计算成本，实现了对 DiTs 的有效量化到 8 位精度（W8A8），并首次实现了对 4 位权重精度（W4A8）的有效量化。

    May, 2024

  • 面向分布友好和异常值感知的后训练量化方法：DopQ-ViT

    本研究针对视觉变换器（ViTs）在后训练量化（PTQ）中面临的准确性下降问题，提出了一种新的量化方法DopQ-ViT。该方法引入了分布友好的Tan量化器（TanQ）和优化的缩放因子搜索（SOSF），有效解决了后Softmax激活的能力法则分布适应性不足和 LayerNorm 后激活的异常值影响，从而显著提升了低比特设置下的量化模型性能。

    Aug, 2024