Jun, 2024

2DQuant：基于低位后训练量化的图像超分辨率

PDF
TL;DR2DQuant 是一种双阶段低比特后训练量化（PTQ）方法，通过研究权重和激活分布，使用分布导向边界初始化和蒸馏量化校准的方法，实现了在低比特量化下高效准确的图像超分辨率。
low-bit quantizationimage super-resolutionpost-training quantizationquantizer parametersdistillation approach
发现论文，激发创造
  • 用于超低精度超分辨率网络的动态双可训练边界

    本文提出了一种新的激活量化方法 - 动态双可训练界（DDTB），以解决超低精度（例如 2 位和 3 位）SR 模型在使用低成本层面量化器进行量化时所遇到的性能下降困境，该方法通过针对激活的不对称性做出创新，并且使用动态门控器运行时自适应地调整上下界以克服不同样例的激活范围巨大变化问题。

    Mar, 2022

  • 全量化图像超分辨率网络

    针对模型量化与 SR 网络训练中的两个困难，本文提出了一种全量化图像超分辨率框架（FQSR）来同时优化效率和精度，并在多个主流 SR 构架上应用，实验表明与全精度 SR 方法相比，FQSR 具有相同的性能和较低的计算成本。

    Nov, 2020

  • PTQ4DiT：扩散变压器的后训练量化

    为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salience Balancing（CSB）和 Spearmen's ρ-guided Salience Calibration（SSC）来解决 DiTs 中存在的通道不平衡和时间变化的挑战，并通过离线重新参数化策略降低了计算成本，实现了对 DiTs 的有效量化到 8 位精度（W8A8），并首次实现了对 4 位权重精度（W4A8）的有效量化。

    May, 2024

  • RAPQ: 针对二次幂低比特后训练量化提高精度

    提出一种名为 RAPQ 的 Power-of-Two 低位后训练量化方法，动态调整整个网络的二的幂次方比例因子，用 BN 信息进行重构，证明该方法可以实现近似于 SOTA 方法的高精度，代码已发布。

    Apr, 2022

  • QDrop：一种用于极低位后训练量化的随机丢弃量化方法

    本文提出了一种新的方法，即将 activation quantization 纳入 post-training quantization 中，随机放弃激活量化，从而将 PTQ 的极限推向了 2 位。最终结果表明，QDROP 在图像分类、目标检测和文本分类任务中具有优异的表现，成为了 PTQ 现有技术中新的最佳方法。

    Mar, 2022

  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • 走向无剪裁量化超分辨率网络：如何驯服代表性图像

    利用提出的剪辑无关量化流程 (CFQP) 来调整代表性数据集 (RD) 图像，成功地消除非期望的剪辑激活层，从而提高稳定性、减少推理运行时间并获得更好的视觉质量结果，而无需使用剪辑激活进行重训练。

    Aug, 2023

  • CADyQ: 内容感知动态量化图像超分辨率

    本文提出一种新型动态压缩方法 (CADyQ) 来优化图像超分辨率神经网络中由于量化引起的计算过于复杂的问题，通过在根据输入图像局部区域和图层进行自适应位宽和量化级别分配的可训练比特选择器模块中引入量化敏感性评估，以实现高平均位减少和更小的精度损失。

    Jul, 2022

  • MPTQ-ViT：VisionTransformer 的混合精度后训练量化

    提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

    Jan, 2024

  • RepQuant: 基于尺度重参数化的大型 Transformer 模型准确的后训练量化

    提出了一种新型的后训练量化框架 RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。

    Feb, 2024