基于去噪扩散模型的光学图像转换：以异构变化检测为例

Apr, 2024

基于去噪扩散模型的光学图像转换：以异构变化检测为例

Optical Image-to-Image Translation Using Denoising Diffusion Models: Heterogeneous Change Detection as a Use Case

João Gabriel Vinholi, Marco Chini, Anis Amziane, Renato Machado, Danilo Silva...

TL;DR介绍一种创新的基于深度学习的方法，使用去噪扩散模型将不同光学传感器的低分辨率图像转换为高分辨率图像，保留内容并避免不需要的伪影，通过大规模多样的 Sentinel-II 和 Planet Dove 图像配对数据集进行训练和测试，解决了在多传感器光学遥感图像的图像到图像转换任务中普遍使用的无分类器引导去噪扩散隐式模型（DDIM）框架所观察到的严重图像生成问题，生成具有高度一致的补丁的大型图像，包括颜色和特征，进一步展示了该方法如何改善贝鲁特，黎巴嫩和美国奥斯汀两个城市地区的异构变化检测结果，我们的贡献包括：i）基于去噪扩散模型的光学图像转换的新的训练和测试算法；ii）全面的图像质量评估和消融研究；iii）与无分类器引导 DDIM 框架的比较；和 iv）对异构数据的变化检测实验。

Abstract

We introduce an innovative deep learning-based method that uses a denoising diffusion-based model to translate low-resolution images to high-resolution ones from different optical sensors while preserving the contents and avoiding undesired artifacts. The proposed method is trained and

deep learning denoising diffusion-based model image-to-image translation multi-sensor optical remote sensing change detection

发现论文，激发创造

DDRF: 遥感图像融合的去噪扩散模型

本篇文章将去噪扩散模型引入图像融合领域，将融合任务作为图像到图像的转换，设计两种不同的条件注入模块，即风格转换调制和小波调制，注入粗粒度风格信息和细粒度高低频信息来生成融合图像，并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明，在图像融合任务中具有最先进的结果和良好的泛化性能，希望本文可以激发其他工作的灵感，并深入了解该领域，以更好地将扩散模型应用于图像融合任务。

Apr, 2023

UNIT-DDPM: 带去噪扩散概率模型的非配对图像翻译

提出一种新颖的无需对抗训练的图像分类方法，该方法使用基于去噪扩散概率模型的单张图像转换方法。我们的方法是通过最小化以另一个域为条件的去噪得分匹配目标来训练生成模型以推断图像的联合分布。我们同时更新域翻译模型，并通过基于 Langevin 动力学的去噪马尔科夫链蒙特卡罗方法来生成目标域图像。该方法在几个公共数据集上实现了最先进的 Frechet Inception Distance（FID）性能，包括彩色和多光谱影像，并明显优于当前的对抗图像转换方法。

Apr, 2021

调色板：图像到图像扩散模型

本文提出了一种基于条件扩散模型的统一框架，用于图像到图像的转换，并在四个具有挑战性的图像到图像任务中测试了这个框架，即上色，修复，裁剪和 JPEG 恢复。我们的简单实现超越了所有任务上的强 GAN 和回归基线，无需任务特定的超参数调整，架构定制或需要任何辅助丢失或先进的新技术。我们揭示了扩散目标中 L2 与 L1 损失的影响，并通过实证研究证明了自我关注在神经结构中的重要性。重要的是，我们提倡一个基于 ImageNet 的统一评估协议，具有人工评估和样本质量得分（FID，Inception Score，预训练 ResNet-50 的分类准确度和与原始图像的感知距离），我们期望这个标准化的评估协议在推进图像到图像翻译研究方面起到作用。最后，我们展示了一个通用的，多任务扩散模型的执行效果与任务特定的专家模型相当或更好。

Nov, 2021

DiffI2I：高效的图像 - 图像转换扩散模型

提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型，通过引入紧凑的 I2I 先验提取网络（CPEN），动态 I2I 转换器（DI2Iformer）和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明，DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。

Aug, 2023

扩散模型实现实际噪声抑制

本文介绍了一种基于扩散模型的新型通用去噪扩散模型，采用线性插值进行扩散，中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值，使得该扩散模型可以处理添加噪声的级别，并且提出了两种采样算法，实验证明该模型在真实去噪基准测试中表现良好。

May, 2023

图像生成的光学扩散模型

通过光学透明层的传播，实现了在图像样本中运用去噪扩散模型的编程，从而实现了高速图像生成并降低能量消耗。

Jul, 2024

基于去噪扩散模型的人物图像合成

使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

Nov, 2022

通过自适应嵌入和集成激发图像去噪扩散模型

图像降噪是计算摄影中的一个基本问题，要求在低畸变的情况下实现高质量的感知性能。最近，新兴的扩散模型在各种任务中实现了最先进的性能，在图像降噪方面显示了巨大的潜力。然而，为图像降噪刺激扩散模型并不直接，需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型（DMID）” 的新策略，通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。

Jul, 2023

高保真基于扩散的图像编辑

扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

Dec, 2023

基于扩散模型的图像编辑：一项综述

调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

Feb, 2024