FRDiff: 精细的零编码加速扩散模型的特征复用
Diffusion models have gained attention in image synthesis, and this paper introduces DeepCache, a training-free paradigm that accelerates diffusion models by capitalizing on temporal redundancy in denoising steps and achieving a speedup factor of 2.3x for Stable Diffusion v1.5 and 4.1x for LDM-4-G without significant decline in CLIP Score or FID on ImageNet.
Dec, 2023
扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架,其中包含一个修正模块,用残差特征调节扩散模型权重,以填补编辑过程中准确性的差距。此外,我们引入了一种新的学习范式,旨在在编辑过程中最小化错误传播。通过大量实验证明,我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果,并在定量指标和质量评估方面表现出色。此外,我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。
Dec, 2023
通过频率截断的方法,我们提出了一种新颖的 fine-tuning 自由方法用于改善扩散模型的引导,从而实现了在各种编辑任务和不同图像集上与最先进方法相媲美的结果,突显了它在图像编辑应用中的多功能潜力。
Apr, 2024
我们提出了一种统一的框架来在扩散模型中实现有效的图像生成,其中搜索最佳时间步骤序列和压缩模型架构,无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程,该方法在仅使用几个时间步骤时实现了出色的性能。
Sep, 2023
提出了一种名为 Step-Adaptive Training 的创新训练策略,通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长,然后将时间步长分成不同的组,在每个组内进行微调以实现专门的去噪能力,这种方法不仅提高了模型性能,还显著降低了计算成本。
Dec, 2023
利用连续动力系统设计一种新型去噪网络,以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比,该模型具有约四分之一的参数量和百分之三十的浮点操作数(FLOPs),推理速度提高了 70%,并且收敛到了更好的质量解。
Oct, 2023
本文提出了一种名为 R2-Diff 的基于图像的运动预测方法,其中运动数据是从数据集中检索出的,通过调整模型超参数进行细化,并通过基于图像特征的检索方式来检索最近邻居运动。实验结果表明,R2-Diff 可以精确地预测适当的运动并在机器人操作中取得高任务成功率。
Jun, 2023
本篇文章将去噪扩散模型引入图像融合领域,将融合任务作为图像到图像的转换,设计两种不同的条件注入模块,即风格转换调制和小波调制,注入粗粒度风格信息和细粒度高低频信息来生成融合图像,并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明,在图像融合任务中具有最先进的结果和良好的泛化性能,希望本文可以激发其他工作的灵感,并深入了解该领域,以更好地将扩散模型应用于图像融合任务。
Apr, 2023
提出了一种新颖的基于频域引导的多尺度扩散模型(FDDiff),该模型通过细化的步骤将高频信息的补充过程分解为更精细的步骤,使用小波包频域链提供多尺度的中间目标,以逐步补充缺失的高频细节,并利用多尺度频率细化网络在一个统一的网络中预测所需的多尺度高频成分,通过对流模型在图像超分辨率任务中生成高质量图像,并在广泛的评估中展示了其优于先前的生成方法的结果。
May, 2024