细节保留图像去噪的重建生成扩散模型
本文介绍了一种基于扩散模型的新型通用去噪扩散模型,采用线性插值进行扩散,中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值,使得该扩散模型可以处理添加噪声的级别,并且提出了两种采样算法,实验证明该模型在真实去噪基准测试中表现良好。
May, 2023
该研究论文提出了一种基于扩散模型的合成逼真噪声的新方法,用于为困难获得真实数据的情景下的训练去噪模型提供大量高质量的数据,并在多个基准测试上证明了其方法的优越性.
May, 2023
本篇文章将去噪扩散模型引入图像融合领域,将融合任务作为图像到图像的转换,设计两种不同的条件注入模块,即风格转换调制和小波调制,注入粗粒度风格信息和细粒度高低频信息来生成融合图像,并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明,在图像融合任务中具有最先进的结果和良好的泛化性能,希望本文可以激发其他工作的灵感,并深入了解该领域,以更好地将扩散模型应用于图像融合任务。
Apr, 2023
通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型,我们在本研究中提出了三个贡献:首先,引入了一种新的神经场景表示方法 IB-planes,能够有效准确地表示大型三维场景,并在需要时动态分配更多容量以捕捉每张图像中可见的细节;其次,我们提出了一种去噪扩散框架,通过仅使用二维图像而不需要额外的监督信号(如掩码或深度)学习对这种新型三维场景表示的先验知识,从而支持三维重建和生成;第三,我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法,即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型,并在生成、新视图合成和三维重建方面展示了优越的结果。
Feb, 2024
扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架,其中包含一个修正模块,用残差特征调节扩散模型权重,以填补编辑过程中准确性的差距。此外,我们引入了一种新的学习范式,旨在在编辑过程中最小化错误传播。通过大量实验证明,我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果,并在定量指标和质量评估方面表现出色。此外,我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。
Dec, 2023
提出了一种基于残差去噪扩散模型(RDDM)的图像生成和恢复方法,该方法通过预测残差来表示从目标域到输入域的扩散方向,并同时估计噪声以考虑扩散过程中的随机扰动,从而实现了图像生成和恢复的统一。
Aug, 2023
在这篇文章中,我们发现了扩散模型生成质量受到迭代次数限制的根本原因,并提出了一个简单而有效的解决方案来缓解这些影响。我们的解决方案可以应用于任何现有的扩散模型,并且在各种 SOTA 体系结构上运行多个数据集和配置进行实验和详尽的消融研究,证明能够立即提高它们的生成质量。
Mar, 2022
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022
本研究提出一种方法,通过给待恢复的输入图像添加噪声并进行去噪来使预训练的扩散模型自适应于图像恢复任务。方法基于观察到生成模型空间需要受到约束的原则,通过使用一组捕捉输入图像特征的锚点图像对生成模型进行微调,从而实现受约束的空间。我们通过对比以前的方法并在多个真实世界的恢复数据集上展示出卓越的性能,包括保留身份和图像质量。此外,我们还演示了一种在个性化修复上的重要实际应用,其中我们使用个人相册作为锚点图像来约束生成空间。这种方法使我们能够准确地保留高频细节,这是以前的工作所不能实现的。
Dec, 2023
图像降噪是计算摄影中的一个基本问题,要求在低畸变的情况下实现高质量的感知性能。最近,新兴的扩散模型在各种任务中实现了最先进的性能,在图像降噪方面显示了巨大的潜力。然而,为图像降噪刺激扩散模型并不直接,需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型(DMID)” 的新策略,通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。
Jul, 2023