Jul, 2023

通过自适应嵌入和集成激发图像去噪扩散模型

PDF
TL;DR图像降噪是计算摄影中的一个基本问题，要求在低畸变的情况下实现高质量的感知性能。最近，新兴的扩散模型在各种任务中实现了最先进的性能，在图像降噪方面显示了巨大的潜力。然而，为图像降噪刺激扩散模型并不直接，需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型（DMID）” 的新策略，通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。
发现论文，激发创造
  • 图像嵌入用于去噪生成模型

    本文探讨了如何在 Denoising Diffusion Models 的 latent space 中嵌入图像，实现对噪声图像的去噪，并发现了该类生成模型中 latent representation 独立于反扩散过程网络实现的网络结构。

    Dec, 2022

  • 扩散模型实现实际噪声抑制

    本文介绍了一种基于扩散模型的新型通用去噪扩散模型，采用线性插值进行扩散，中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值，使得该扩散模型可以处理添加噪声的级别，并且提出了两种采样算法，实验证明该模型在真实去噪基准测试中表现良好。

    May, 2023

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022

  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021

  • DDRF: 遥感图像融合的去噪扩散模型

    本篇文章将去噪扩散模型引入图像融合领域，将融合任务作为图像到图像的转换，设计两种不同的条件注入模块，即风格转换调制和小波调制，注入粗粒度风格信息和细粒度高低频信息来生成融合图像，并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明，在图像融合任务中具有最先进的结果和良好的泛化性能，希望本文可以激发其他工作的灵感，并深入了解该领域，以更好地将扩散模型应用于图像融合任务。

    Apr, 2023

  • D3AD：动态去噪扩散概率模型用于异常检测

    扩展前述的隐式条件方法，我们提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常并在两个著名异常检测数据集上取得了最先进的性能。

    Jan, 2024

  • 动态双输出扩散模型

    在这篇文章中，我们发现了扩散模型生成质量受到迭代次数限制的根本原因，并提出了一个简单而有效的解决方案来缓解这些影响。我们的解决方案可以应用于任何现有的扩散模型，并且在各种 SOTA 体系结构上运行多个数据集和配置进行实验和详尽的消融研究，证明能够立即提高它们的生成质量。

    Mar, 2022