ECCVMar, 2022

用于超低精度超分辨率网络的动态双可训练边界

PDF
TL;DR本文提出了一种新的激活量化方法 - 动态双可训练界（DDTB），以解决超低精度（例如 2 位和 3 位）SR 模型在使用低成本层面量化器进行量化时所遇到的性能下降困境，该方法通过针对激活的不对称性做出创新，并且使用动态门控器运行时自适应地调整上下界以克服不同样例的激活范围巨大变化问题。
发现论文，激发创造
  • 2DQuant：基于低位后训练量化的图像超分辨率

    2DQuant 是一种双阶段低比特后训练量化（PTQ）方法，通过研究权重和激活分布，使用分布导向边界初始化和蒸馏量化校准的方法，实现了在低比特量化下高效准确的图像超分辨率。

    Jun, 2024

  • 全量化图像超分辨率网络

    针对模型量化与 SR 网络训练中的两个困难，本文提出了一种全量化图像超分辨率框架（FQSR）来同时优化效率和精度，并在多个主流 SR 构架上应用，实验表明与全精度 SR 方法相比，FQSR 具有相同的性能和较低的计算成本。

    Nov, 2020

  • CADyQ: 内容感知动态量化图像超分辨率

    本文提出一种新型动态压缩方法 (CADyQ) 来优化图像超分辨率神经网络中由于量化引起的计算过于复杂的问题，通过在根据输入图像局部区域和图层进行自适应位宽和量化级别分配的可训练比特选择器模块中引入量化敏感性评估，以实现高平均位减少和更小的精度损失。

    Jul, 2022

  • PTQ4DiT：扩散变压器的后训练量化

    为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salience Balancing（CSB）和 Spearmen's ρ-guided Salience Calibration（SSC）来解决 DiTs 中存在的通道不平衡和时间变化的挑战，并通过离线重新参数化策略降低了计算成本，实现了对 DiTs 的有效量化到 8 位精度（W8A8），并首次实现了对 4 位权重精度（W4A8）的有效量化。

    May, 2024

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • DB-LLM：用於高效 LLMs 的準確雙二元化

    该研究提出了一种新颖的双二值化方法（DB-LLM），用于大型语言模型（LLMs）的超低位量化，以提高计算效率，并通过偏差感知蒸馏（DAD）方法减少预测失真，实现了超低位量化时的显著准确性提升和计算效率降低。

    Feb, 2024

  • PAMS: 参数化最大缩放量量化超分辨率

    本研究提出了一种基于可训练的截断参数的量化方案 PAMS，通过引入结构化知识转移（SKT）损失对量化网络进行微调，实现了超分辨率模型的压缩和加速，并实现了新的 PSNR 记录。

    Nov, 2020

  • DAQ: 深度图像超分辨率网络通道分布感知量化

    提出了一种基于分布感知的量化方案（DAQ）用于超低精度的训练无需的神经网络量化，可以减少图像超分辨率的计算成本，并超越目前最先进的图像超分辨率网络。

    Dec, 2020

  • 克服图片超分辨率网络中的分布不匹配问题

    量化是减少图像超分辨率（SR）网络高计算复杂度的一种有前途的方法，然而，与图像分类等高级任务相比，低位量化会导致 SR 网络的严重准确性损失。本文提出了一种新的量化感知训练框架 ODM，该框架有效地解决了 SR 网络中的分布不匹配问题，并且不需要动态自适应。该算法通过直接在训练过程中正则化特征的方差来减少不匹配，同时还引入了分布偏移以进一步减小分布不匹配问题。实验结果表明，ODM 在减少分布不匹配问题方面比现有的 SR 量化方法表现更好，计算开销也更少，这表明减小分布不匹配问题的重要性。

    Jul, 2023

  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024