Oct, 2023

EfficientDM: 高效的低位扩散模型量化感知微调

PDF
TL;DR提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。
发现论文，激发创造
  • QuEST: 低比特扩散模型量化的高效选择性微调

    通过优化活化分布和关键量化层，本文解决了低位量化对扩散模型性能的影响，并在各种位宽设置下实现了最先进的高分辨率图像生成。

    Feb, 2024

  • 潜在扩散模型的高效量化策略

    本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

    Dec, 2023

  • 量化扩散变压器分析

    通过分析扩散变换器中激活和权重量化的挑战，我们提出了一种单步采样校准激活和适应分组量化权重的低比特量化方法，从而在无需任何优化的情况下在纯变换器结构上实现了高效的后量化，我们通过初步的条件图像生成实验展示了所提出方法的效率和有效性。

    Jun, 2024

  • 增强的分布对齐用于后训练量化扩散模型

    优化的分布对齐方法可用于增强扩散模型的后训练量化，从而解决现有方法中存在的分布不匹配问题，提高在噪声估计任务中的性能，并在低位精度情况下超过完整精度模型的性能。

    Jan, 2024

  • PTQD：针对扩散模型的精确后训练量化

    本研究提出了一种用于量化噪声和扩散扰动噪声的统一方法，并使用所提出的混合精度方案，校准降噪方差表并选取每个降噪步骤的最佳位宽，显著提高了量化后扩散模型的样本质量且减少了操作次数。

    May, 2023

  • MixDQ: 高效节省内存的几步文本到图像扩散模型与度量分离混合精度量化

    通过开发一种混合精度量化框架 MixDQ，我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计，通过度量解耦灵敏度分析来衡量每一层的敏感度，最后通过基于整数规划的方法进行位宽分配，与现有的量化方法相比，MixDQ 在保持 W8A8 品质的同时，实现了模型大小和内存成本的 3-4 倍减少，和 1.45 倍的延迟加速。

    May, 2024

  • 扩散模型的训练后量化

    本文介绍了如何加速去噪扩散生成模型的生成过程，通过对去噪网络进行压缩，在不进行重新训练的情况下，将完全精度的 DM 量化为 8 位模型，并可在其他快速采样方法上使用。

    Nov, 2022

  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • TFMQ-DM：扩散模型的时间特征维护量化

    提出一种基于时间特征维护的量化方法，该方法通过时间信息块对传统的扩散模型进行优化，实现了与全精度模型几乎相媲美的模型性能在 4 位权重量化下，并无额外计算成本、在 LSUN-Bedrooms 的量化时间加速了 2 倍。

    Nov, 2023

  • 面向扩散模型的准确无数据量化

    本文提出了一种基于拓散模型的精确无数据后训练量化框架，用于高效图像生成。采用组内量化函数设计不同步骤的激活离散化，对最优步骤进行信息量化图像生成，旨在提高量化图像生成的泛化能力。通过实验结果表明，该方法在类似的计算成本下，比扩散模型的最新后训练量化技术更为优越。

    May, 2023