时间步感知纠正量化扩散模型
本研究提出了一种用于量化噪声和扩散扰动噪声的统一方法，并使用所提出的混合精度方案，校准降噪方差表并选取每个降噪步骤的最佳位宽，显著提高了量化后扩散模型的样本质量且减少了操作次数。
May, 2023
本文提出了一种基于拓散模型的精确无数据后训练量化框架，用于高效图像生成。采用组内量化函数设计不同步骤的激活离散化，对最优步骤进行信息量化图像生成，旨在提高量化图像生成的泛化能力。通过实验结果表明，该方法在类似的计算成本下，比扩散模型的最新后训练量化技术更为优越。
May, 2023
介绍了一种新的量化方法用于扩散模型，通过动态调整量化间隔来改善输出质量，并提出该方法在推理时没有计算开销和两种量化方法兼容，通过多种数据集的广泛实验证明了量化扩散模型在输出质量方面的显着改进。
Jun, 2023
提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。
Oct, 2023
我们提出了一种新的文本到图像扩散模型的后训练量化方法PCR（渐进校准和放松），它包括了一种渐进校准策略，考虑了时间步长上的积累量化误差，以及一种激活放松策略，在性能提升方面几乎没有成本。另外，我们展示了文本到图像扩散模型量化的先前度量不准确的问题，并提出了一种新的QDiffBench基准，利用相同领域的数据进行更准确的评估。此外，QDiffBench还考虑了量化模型在校准数据集之外的泛化性能。对Stable Diffusion和Stable Diffusion XL的广泛实验证明了我们的方法和基准的优越性。此外，我们是首次在保持性能的同时实现了Stable Diffusion XL的量化。
Nov, 2023
我们的研究提出了一种统一的量化噪声校正方案(QNCD)，旨在减少扩散模型中的量化噪声，消除图像合成中由量化引起的失真。通过消除嵌入到resblock模块中的嵌入衍生特征和动态过滤整个去噪过程中的量化偏差积累，我们的方法在ImageNet上的W4A8和W8A8量化设置上实现了无损成果。
Mar, 2024
TMPQ-DM通过联合优化时间步长减少和量化以达到更高的性能和效率平衡，其中包括针对非均匀组合和精细层次分配位宽的设计组件，通过梯度-free进化搜索算法快速探索决策空间。
Apr, 2024
Q-DiT是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。
Jun, 2024
本研究解决了扩散模型在低比特量化中准确性与效率难以兼得的问题。作者提出了一种新颖的量化框架DilateQuant，利用未饱和的通道权重通过权重扩展（WD）来缩小激活范围，从而简化激活量化，并使用时间并行量化器（TPQ）和块级知识蒸馏（BKD）进一步提升性能。研究的关键发现是，WD能够有效降低激活量化误差，显著提高模型性能同时保持效率。
Sep, 2024