提出了一种数据自由且参数高效的优化方法 EfficientDM,它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似,从而优化低位扩散模型的性能,并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。
Oct, 2023
通过结合量化感知训练和蒸馏方法,我们提出了一种新的扩散模型量化方法,可以在维持高图像质量的同时,在 CPU 上展示出高效推断能力。
Nov, 2023
介绍了一种新的量化方法用于扩散模型,通过动态调整量化间隔来改善输出质量,并提出该方法在推理时没有计算开销和两种量化方法兼容,通过多种数据集的广泛实验证明了量化扩散模型在输出质量方面的显着改进。
Jun, 2023
本研究提出了一种用于量化噪声和扩散扰动噪声的统一方法,并使用所提出的混合精度方案,校准降噪方差表并选取每个降噪步骤的最佳位宽,显著提高了量化后扩散模型的样本质量且减少了操作次数。
May, 2023
本文针对大规模的十亿参数扩散模型,探索了细调量化扩散模型的领域,并提出了两种策略以增强个性化、保持提示保真度和图像质量,显著超越基线模型的质量和数量性能。
Jan, 2024
通过开发一种混合精度量化框架 MixDQ,我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计,通过度量解耦灵敏度分析来衡量每一层的敏感度,最后通过基于整数规划的方法进行位宽分配,与现有的量化方法相比,MixDQ 在保持 W8A8 品质的同时,实现了模型大小和内存成本的 3-4 倍减少,和 1.45 倍的延迟加速。
May, 2024
Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法,用于处理 Diffusion Transformer(DiT)模型中的权重和激活的巨大变化,以实现高效、高质量的量化和图像生成。
Jun, 2024
我们提出了一种新的文本到图像扩散模型的后训练量化方法 PCR(渐进校准和放松),它包括了一种渐进校准策略,考虑了时间步长上的积累量化误差,以及一种激活放松策略,在性能提升方面几乎没有成本。另外,我们展示了文本到图像扩散模型量化的先前度量不准确的问题,并提出了一种新的 QDiffBench 基准,利用相同领域的数据进行更准确的评估。此外,QDiffBench 还考虑了量化模型在校准数据集之外的泛化性能。对 Stable Diffusion 和 Stable Diffusion XL 的广泛实验证明了我们的方法和基准的优越性。此外,我们是首次在保持性能的同时实现了 Stable Diffusion XL 的量化。
通过开发一种新的权重量化方法,将稳定扩散 v1.5 的 UNet 模型量化为 1.99 位,实现模型尺寸减小 7.9 倍,同时展现更好的生成质量。
本文提出了一种基于拓散模型的精确无数据后训练量化框架,用于高效图像生成。采用组内量化函数设计不同步骤的激活离散化,对最优步骤进行信息量化图像生成,旨在提高量化图像生成的泛化能力。通过实验结果表明,该方法在类似的计算成本下,比扩散模型的最新后训练量化技术更为优越。