Nov, 2023

Resfusion: 先验残差噪声嵌入去噪扩散概率模型

PDF
TL;DR最近，通过生成以输入图像为条件的分割掩模，去噪扩散概率模型广泛应用于图像分割。然而，以往的研究无法无缝地将现有端到端模型与去噪扩散模型结合使用。我们提出了一种新的去噪扩散过程，Resfusion，通过马尔可夫过程在似然输出和实际输出之间建立联系，逐步生成分割掩模或任何类型的目标图像，无缝地整合了最先进的端到端模型和去噪扩散模型。实验结果表明，Resfusion 结合了现有端到端模型和去噪扩散模型的能力，进一步提高了性能，取得了出色的结果。此外，Resfusion 不仅限于分割任务，还可以轻松推广到图像生成的任何通用任务，并展现出强大的竞争力。
denoising diffusion probabilistic modelsimage segmentationresfusionend-to-end modelsdenoising diffusion models
发现论文，激发创造
  • DDRF: 遥感图像融合的去噪扩散模型

    本篇文章将去噪扩散模型引入图像融合领域，将融合任务作为图像到图像的转换，设计两种不同的条件注入模块，即风格转换调制和小波调制，注入粗粒度风格信息和细粒度高低频信息来生成融合图像，并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明，在图像融合任务中具有最先进的结果和良好的泛化性能，希望本文可以激发其他工作的灵感，并深入了解该领域，以更好地将扩散模型应用于图像融合任务。

    Apr, 2023

  • ResEnsemble-DDPM：残差去噪扩散概率模型的集成学习

    将去噪扩散概率模型与现有的端到端模型相融合，通过集成学习引入残差项，提出 ResEnsemble-DDPM 模型，进一步提升图像分割模型的性能，并且该集成学习策略可推广到图像生成的其他任务，具有强大的竞争力。

    Dec, 2023

  • 扩散模型实现实际噪声抑制

    本文介绍了一种基于扩散模型的新型通用去噪扩散模型，采用线性插值进行扩散，中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值，使得该扩散模型可以处理添加噪声的级别，并且提出了两种采样算法，实验证明该模型在真实去噪基准测试中表现良好。

    May, 2023

  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021

  • 残差去噪扩散模型

    提出了一种基于残差去噪扩散模型（RDDM）的图像生成和恢复方法，该方法通过预测残差来表示从目标域到输入域的扩散方向，并同时估计噪声以考虑扩散过程中的随机扰动，从而实现了图像生成和恢复的统一。

    Aug, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • VideoFusion：分解扩散模型用于高质量视频生成

    本文提出了一种名为 VideoFusion 的方法，通过分解噪声来处理视频数据，并采用两个联合学习的网络来匹配噪声分解，提高了视频生成的质量，并且还证明了分解噪声公式可以受益于预训练的图像扩散模型和文本条件下的视频生成。

    Mar, 2023

  • 使用潜空间扩散模型使大尺寸逼真图像修复成为可能的 Refusion 技术

    本研究旨在提高扩散模型在逼真图像修复中的适用性，特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能，并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比，我们提出的 U-Net 压缩策略更稳定，而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像，包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换，并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。

    Apr, 2023

  • 细节保留图像去噪的重建生成扩散模型

    提出了一种称为重建生成扩散模型 (RnG) 的新方法，该方法利用重建去噪网络恢复绝大部分底层干净信号，并采用扩散算法生成剩余的高频细节，从而提高视觉质量和感知度。通过在合成和真实去噪数据集上进行广泛实验验证了该方法的优越性。

    Sep, 2023

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022