逼真图像去模糊的分层集成扩散模型
通过在预训练的自编码器的潜在空间中应用扩散模型,引入交叉注意力层到模型体系结构中,以更少的计算要求取得接近最优的性能,实现高分辨率合成,缩小像素级 DMs 对计算资源的需求。
Dec, 2021
扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架,其中包含一个修正模块,用残差特征调节扩散模型权重,以填补编辑过程中准确性的差距。此外,我们引入了一种新的学习范式,旨在在编辑过程中最小化错误传播。通过大量实验证明,我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果,并在定量指标和质量评估方面表现出色。此外,我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。
Dec, 2023
BlindDiff 是一种基于扩散模型(DM)的盲超分辨率(SR)方法,通过将基于最大后验(MAP)的优化集成到 DM 中,无缝地解决了 SISR 中的盲降解设置,并通过反向过程解决盲 SR 问题。
Mar, 2024
提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型,通过引入紧凑的 I2I 先验提取网络(CPEN),动态 I2I 转换器(DI2Iformer)和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明,DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。
Aug, 2023
本综述主要介绍了最近视觉领域中扩散模型的进展,特别是那些影响扩散模型计算效率的重要设计方面,重点是强调了最近提出的设计选择,这些选择导致更高效的扩散模型。
Oct, 2022
本研究旨在解决图像融合的问题,通过调整图像的前景与背景以达到统一的视觉一致性。研究采用预训练的潜在扩散模型生成和初步处理模糊的初始图像,通过两种策略(在推理过程中利用高分辨率图像和引入额外的优化阶段)进一步提高初步处理后图像的清晰度,并通过在 iHarmony4 数据集上进行大量实验证明了我们方法的优越性。
Apr, 2024
我们提出了一种名为 DiffLL 的稳健和高效的基于扩散模型的低光图像增强方法,它利用波浪变换加速推理并降低计算资源使用但不损失信息,并通过前向扩散和反向去噪实现稳定去噪和减少随机性。我们还设计了高频率恢复模块,利用图像的垂直和水平细节来补充对角信息以实现更好的细粒度恢复。大量实验证明,我们的方法在定量和视觉上均优于现有的最先进方法,并且与以前的扩散方法相比,在效率上获得了显着的提高。此外,我们还经验性地证明了方法在低光人脸检测方面的潜在实际价值。
Jun, 2023
扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果,提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果,提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。
May, 2024
通过离散余弦变换的角度看,高分辨率产生图像的主要挑战在于 “在频率域中,相同的噪声水平在更高分辨率下会导致更高的信噪比”;本论文提出了中继扩散模型 (Relay Diffusion Model, RDM),通过模糊扩散和块噪声将低分辨率图像或噪声转换为等效的高分辨率图像,使扩散过程能够在任意新分辨率或模型中无缝地继续进行,而无需从纯噪声或低分辨率条件重新启动;RDM 在 CelebA-HQ 的 FID 和 ImageNet 256x256 的 sFID 上取得了领先的成绩,明显超过 ADM、LDM 和 DiT 等之前的工作。
Sep, 2023
我们提出了一种有效的去噪扩散模型,用于生成高分辨率图像 (例如 1024x512),该模型是在小尺寸图像块 (例如 64x64) 上训练的。我们的算法名为 Patch-DM,其中设计了一种新的特征拼贴策略,以避免合成大尺寸图像时的边界伪影。通过特征拼贴,我们可以系统地裁剪并组合相邻图像块的部分特征来预测移位图像块的特征,从而在图像块特征空间中的重叠区域中实现整个图像的无缝生成。Patch-DM 在我们新收集的自然图像数据集 (1024x512) 以及标准基准较小尺寸 (256x256) 上产生了高质量的图像合成结果,包括 LSUN-Bedroom、LSUN-Church 和 FFHQ。我们将我们的方法与以前的基于图像块的生成方法进行了比较,并在所有四个数据集上获得了最先进的 FID 分数。此外,与经典的扩散模型相比,Patch-DM 还减少了内存复杂度。
Aug, 2023