本文介绍了如何加速去噪扩散生成模型的生成过程，通过对去噪网络进行压缩，在不进行重新训练的情况下，将完全精度的 DM 量化为 8 位模型，并可在其他快速采样方法上使用。

Nov, 2022

本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

Dec, 2023

提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

Oct, 2023

本研究提出了一种用于量化噪声和扩散扰动噪声的统一方法，并使用所提出的混合精度方案，校准降噪方差表并选取每个降噪步骤的最佳位宽，显著提高了量化后扩散模型的样本质量且减少了操作次数。

May, 2023

优化的分布对齐方法可用于增强扩散模型的后训练量化，从而解决现有方法中存在的分布不匹配问题，提高在噪声估计任务中的性能，并在低位精度情况下超过完整精度模型的性能。

Jan, 2024

Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

Jun, 2024

为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salience Balancing（CSB）和 Spearmen's ρ-guided Salience Calibration（SSC）来解决 DiTs 中存在的通道不平衡和时间变化的挑战，并通过离线重新参数化策略降低了计算成本，实现了对 DiTs 的有效量化到 8 位精度（W8A8），并首次实现了对 4 位权重精度（W4A8）的有效量化。

May, 2024

本文提出了一种基于拓散模型的精确无数据后训练量化框架，用于高效图像生成。采用组内量化函数设计不同步骤的激活离散化，对最优步骤进行信息量化图像生成，旨在提高量化图像生成的泛化能力。通过实验结果表明，该方法在类似的计算成本下，比扩散模型的最新后训练量化技术更为优越。

May, 2023

我们提出了一种新的文本到图像扩散模型的后训练量化方法 PCR（渐进校准和放松），它包括了一种渐进校准策略，考虑了时间步长上的积累量化误差，以及一种激活放松策略，在性能提升方面几乎没有成本。另外，我们展示了文本到图像扩散模型量化的先前度量不准确的问题，并提出了一种新的 QDiffBench 基准，利用相同领域的数据进行更准确的评估。此外，QDiffBench 还考虑了量化模型在校准数据集之外的泛化性能。对 Stable Diffusion 和 Stable Diffusion XL 的广泛实验证明了我们的方法和基准的优越性。此外，我们是首次在保持性能的同时实现了 Stable Diffusion XL 的量化。

Nov, 2023

Diffusion transformers have challenges in quantization, but the proposed ViDiT-Q method achieves lossless W8A8 quantization and ViDiT-Q-MP achieves W4A8 with negligible visual quality degradation, resulting in memory optimization and latency speedup.

Jun, 2024