May, 2024

高效的 FP4 混合量化扩散变换器（HQ-DiT）

PDF
TL;DRDiffusion Transformers (DiTs) are improved by Hybrid Floating-point Quantization (HQ-DiT), a post-training quantization method utilizing 4-bit floating-point precision on both weights and activations, resulting in low-precision quantization with minimal impact on performance.
发现论文，激发创造
  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • PTQ4DiT：扩散变压器的后训练量化

    为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salience Balancing（CSB）和 Spearmen's ρ-guided Salience Calibration（SSC）来解决 DiTs 中存在的通道不平衡和时间变化的挑战，并通过离线重新参数化策略降低了计算成本，实现了对 DiTs 的有效量化到 8 位精度（W8A8），并首次实现了对 4 位权重精度（W4A8）的有效量化。

    May, 2024

  • ViDiT-Q: 图像和视频生成的扩散变压器的高效准确量化

    Diffusion transformers have challenges in quantization, but the proposed ViDiT-Q method achieves lossless W8A8 quantization and ViDiT-Q-MP achieves W4A8 with negligible visual quality degradation, resulting in memory optimization and latency speedup.

    Jun, 2024

  • TerDiT: 基于 Transformer 的三元扩散模型

    我们提出了 TerDiT，一种针对具有 transformer 的三态扩散模型的量化感知训练（QAT）和有效部署方案，致力于探索大规模 DiT 模型的高效部署策略，展示了从头开始训练极低比特扩散变压器模型的可行性，同时保持与全精度模型相比有竞争力的图像生成能力。

    May, 2024

  • MixDQ: 高效节省内存的几步文本到图像扩散模型与度量分离混合精度量化

    通过开发一种混合精度量化框架 MixDQ，我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计，通过度量解耦灵敏度分析来衡量每一层的敏感度，最后通过基于整数规划的方法进行位宽分配，与现有的量化方法相比，MixDQ 在保持 W8A8 品质的同时，实现了模型大小和内存成本的 3-4 倍减少，和 1.45 倍的延迟加速。

    May, 2024

  • Q-DETR: 一种高效的低位量化检测 Transformer

    本文针对量化后检测转换器（Q-DETR）信息失真问题提出分布矫正蒸馏方法（DRD），该方法可优化查询分布使熵最大化，在上层引入前景感知查询匹配策略最小化条件熵。实验表明，该方法在 COCO 数据集上，4-bit Q-DETR 可加速与 ResNet-50 骨干网一起使用的 DETR，速度提高 6.6 倍，AP 值达到 39.4％，性能仅存在 2.6％的差距。

    Apr, 2023

  • EfficientDM: 高效的低位扩散模型量化感知微调

    提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

    Oct, 2023

  • MPTQ-ViT：VisionTransformer 的混合精度后训练量化

    提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

    Jan, 2024

  • Bi-ViT: 推动视觉 Transformer 量化极限

    介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

    May, 2023

  • Q-HyViT: 桥接块重构的混合视觉 Transformer 后训练量化

    为了解决 vision transformers 在移动设备上的高计算需求问题，我们提出了一种新的 post-training quantization 方法，成功地让 efficient hybrid vision transformers（MobileViTv1 和 MobileViTv2）的平均准确性有了显著提高（达到 7.75%），我们将在指定的网址上发布我们的代码。

    Mar, 2023