CutDiffusion: 一个简单、快速、廉价且强大的扩散外推方法
提出了一种名为 Patch Diffusion 的通用 Patch-wise 训练框架,其核心创新是新的条件分数函数,它在原始图像的 Patch 级别包括 Patch 位置作为附加坐标通道,并且通过训练在多个尺度上对 Patch 大小进行随机和多样化,从而达到显著减少训练时间成本同时提高数据效率以帮助更广泛的用户学习扩散模型。
Apr, 2023
通过利用并行处理和分布式计算,我们提出了 DistriFusion 方法以应对扩散模型在生成高分辨率图像时面临的计算资源和延迟的挑战。DistriFusion 方法能够以较低的质量损失,在多个 GPU 上实现高效率的图像生成,并通过异步通信以及计算流水线的方式实现了高达 6.1 倍的速度提升。
Feb, 2024
通过重新扩张限制性卷积感知域以及引入分散卷积和抑噪无监督引导的方法,无需任何训练或优化,实现了超高分辨率图像生成,并解决了物体重复和不合理结构的问题,表现出卓越的性能。此外,该方法还提示了低分辨率训练模型可以直接用于高分辨率图像生成的可能性,为未来的超高分辨率图像合成研究提供了新的思路。
Oct, 2023
该论文提出 DiffFit,一种参数高效的策略,可以对大规模预先训练的扩散模型进行微调,从而实现对新领域的快速适应,本方法只需要微调特定层中的偏差项和新加入的缩放因子,相对于完整的微调,实现了 2 倍的训练加速和极低的模型存储成本,DiffFit 在 8 个下游数据集中表现突出,取得了竞争性的性能,并证实缩放因子对快速适应的功效。
Apr, 2023
本文提出了一种新颖的自级联扩散模型,通过利用低分辨率模型的丰富知识快速适应高分辨率图像和视频生成,使用无需调优或廉价上采样器调优范例。该自级联扩散模型整合了一系列多尺度上采样器模块,可以有效地适应更高的分辨率,保持原始组合和生成能力。我们进一步提出了一种基于中心引导的噪声重新调度策略,以加快推理过程并提高局部结构细节。与完全微调相比,我们的方法在训练速度上提高了 5 倍,并且仅需要额外的 0.002M 调优参数。广泛的实验表明,我们的方法可以通过仅仅进行 10k 步的微调,快速适应更高分辨率的图像和视频合成,几乎不需要额外的推理时间。
Feb, 2024
Diffusion models have gained attention in image synthesis, and this paper introduces DeepCache, a training-free paradigm that accelerates diffusion models by capitalizing on temporal redundancy in denoising steps and achieving a speedup factor of 2.3x for Stable Diffusion v1.5 and 4.1x for LDM-4-G without significant decline in CLIP Score or FID on ImageNet.
Dec, 2023
通过提出一种基于小波的扩散方案以及使用重构项来提高模型训练收敛性,本文旨在缩小扩散模型与 GAN 模型之间速度差距,实验结果证明该方案是实现实时高保真扩散模型的基础。
Nov, 2022
扩散模型在图像和视频合成方面表现出了卓越的性能,但将其扩展到高分辨率输入是具有挑战性的,并且需要将扩散流程重组为多个独立组件,限制了可伸缩性并复杂化了下游应用。
Jun, 2024
通过结合漏光图像的扩散模型和基于物理的曝光模型,使用残差层筛选出迭代过程中的副作用,从而改进了图像增强方法。该方法适用于真实数据集、不同噪声模型和骨干网络,并且具有更好的泛化能力。
Jul, 2023