本论文提出了基于矢量量化扩散模型的文本到图像生成方法,在扩散条件变量程序模型的潜在空间中建模基于矢量量化变分自编码器的方法,消除了现有方法中的单向偏差,并允许我们结合掩模和替换扩散策略以避免误差积累,其结果在生成复杂场景的图像方面得到了显着的改进。
Nov, 2021
本研究探讨了量子机器学习和变分量子电路的整合,以增强扩散式图像生成模型的效力,并通过 MNIST 数字,Fashion MNIST 和 CIFAR-10 对两种量子扩散模型进行了基准测试,结果显示我们的模型在性能指标 FID、SSIM 和 PSNR 方面超越了传统模型。此外,我们还引入了一种一致性模型单一采样架构,将扩散过程合并为一步,实现了快速一步图像生成。
Jan, 2024
本研究提出了一种用于量化噪声和扩散扰动噪声的统一方法,并使用所提出的混合精度方案,校准降噪方差表并选取每个降噪步骤的最佳位宽,显著提高了量化后扩散模型的样本质量且减少了操作次数。
May, 2023
通过结合量化感知训练和蒸馏方法,我们提出了一种新的扩散模型量化方法,可以在维持高图像质量的同时,在 CPU 上展示出高效推断能力。
Nov, 2023
本文提出了利用预训练的 CLIP 模型来实现多模态文本 - 图像表示和强大的图像生成能力的 CLIP-VQDiffusion 模型,在 FFHQ 数据集上,该模型的 Clipscore 得分超过了之前最先进的方法 4.4%,并且即使在分布内外的情况下,生成的图像也非常逼真。
Mar, 2024
通过开发一种混合精度量化框架 MixDQ,我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计,通过度量解耦灵敏度分析来衡量每一层的敏感度,最后通过基于整数规划的方法进行位宽分配,与现有的量化方法相比,MixDQ 在保持 W8A8 品质的同时,实现了模型大小和内存成本的 3-4 倍减少,和 1.45 倍的延迟加速。
May, 2024
我们提出了一种基于脉冲扩散模型的脉冲神经网络,通过向量量化离散扩散模型和 SNNs 的结合,实现对图像的表达和去噪,实验证明它在多个数据集上的性能优于现有的 SNN 生成模型。
Aug, 2023
利用扩散模型在图像压缩领域具有潜力,能够在极低码率下产生逼真且详细的重建结果。本研究提出了一种将扩散用于去除量化误差,以恢复传输图像潜在信息的去噪方法,相较于之前的方法,我们的方案只需要进行不到 10% 的扩散生成过程,并且无需对扩散模型进行架构更改,能够有效利用基础模型作为强大的先验,并在定量写实度指标上优于之前的方法,同时经验证明我们的重建结果在质量上也得到了最终用户的认可,并且即使其他方法使用两倍的比特率,我们的方案依然具备优势。
Apr, 2024
本文介绍了如何加速去噪扩散生成模型的生成过程,通过对去噪网络进行压缩,在不进行重新训练的情况下,将完全精度的 DM 量化为 8 位模型,并可在其他快速采样方法上使用。
Nov, 2022
本文针对大规模的十亿参数扩散模型,探索了细调量化扩散模型的领域,并提出了两种策略以增强个性化、保持提示保真度和图像质量,显著超越基线模型的质量和数量性能。