高保真基于扩散的图像编辑
调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述,包括理论和实践方面,并从多个角度对这些作品进行了彻底分析和分类,介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外,对图像修复和扩展进行了特别关注,并探讨了早期的传统上下文驱动方法和当前的多模态条件方法,全面分析了它们的方法论。最后,讨论当前的限制并展望未来的研究方向。
Feb, 2024
本篇文章将去噪扩散模型引入图像融合领域,将融合任务作为图像到图像的转换,设计两种不同的条件注入模块,即风格转换调制和小波调制,注入粗粒度风格信息和细粒度高低频信息来生成融合图像,并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明,在图像融合任务中具有最先进的结果和良好的泛化性能,希望本文可以激发其他工作的灵感,并深入了解该领域,以更好地将扩散模型应用于图像融合任务。
Apr, 2023
本文介绍了一种基于扩散模型的新型通用去噪扩散模型,采用线性插值进行扩散,中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值,使得该扩散模型可以处理添加噪声的级别,并且提出了两种采样算法,实验证明该模型在真实去噪基准测试中表现良好。
May, 2023
本文研究了扰动扩散概率模型在语义分割任务中的应用,特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层,我们发现它们可以有效地捕捉输入图像的语义信息,并成为像素级别的分割表示。基于这些观察,我们提出了一种简单的分割方法,能在仅有少量训练图像的情况下显著提高性能。
Dec, 2021
通过频率截断的方法,我们提出了一种新颖的 fine-tuning 自由方法用于改善扩散模型的引导,从而实现了在各种编辑任务和不同图像集上与最先进方法相媲美的结果,突显了它在图像编辑应用中的多功能潜力。
Apr, 2024
我们提出了一种名为 DiffLL 的稳健和高效的基于扩散模型的低光图像增强方法,它利用波浪变换加速推理并降低计算资源使用但不损失信息,并通过前向扩散和反向去噪实现稳定去噪和减少随机性。我们还设计了高频率恢复模块,利用图像的垂直和水平细节来补充对角信息以实现更好的细粒度恢复。大量实验证明,我们的方法在定量和视觉上均优于现有的最先进方法,并且与以前的扩散方法相比,在效率上获得了显着的提高。此外,我们还经验性地证明了方法在低光人脸检测方面的潜在实际价值。
Jun, 2023
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022
通过稳定的扩散实验,我们发现初始图像中的像素块倾向于生成特定的内容,我们通过修改它们可以显著影响生成的图像,这种影响只影响特定的区域,而不影响其他区域,这对于重绘任务非常有用。我们发现像素块的生成偏好主要由其值而不是位置决定,通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域,我们的方法在布局到图像生成方面实现了最先进的性能,我们的结果凸显了初始图像操作在控制生成图像方面的灵活性和能力。
May, 2023
本文介绍了一种名为选择性扩散蒸馏(SDD)的新框架,其在图像处理任务中克服了扩散模型的权衡问题,通过在扩散模型指导下训练前馈图像操作网络和适当选择语义相关的时间步长,获得了图像的保真度和可编辑性。
Jul, 2023
图像降噪是计算摄影中的一个基本问题,要求在低畸变的情况下实现高质量的感知性能。最近,新兴的扩散模型在各种任务中实现了最先进的性能,在图像降噪方面显示了巨大的潜力。然而,为图像降噪刺激扩散模型并不直接,需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型(DMID)” 的新策略,通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。
Jul, 2023