结构的重要性：解决图像修复中扩散模型的语义差异问题

CVPRMar, 2024

结构的重要性：解决图像修复中扩散模型的语义差异问题

Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting

Haipeng Liu, Yang Wang, Biao Qian, Meng Wang, Yong Rui

TL;DR基于结构引导的扩散模型在图像修复中通过添加噪音来从前向过程中对图像纹理进行修复，并通过反向去噪过程使用与图像纹理相同的未遮挡区域恢复已遮挡区域，解决了现有技术中遮挡和未遮挡区域之间的语义差异问题。

Abstract

denoising diffusion probabilistic models for image inpainting aim to add the noise to the texture of image during the forward process and recover masked regions with unmasked ones of the texture via the reverse d

denoising diffusion probabilistic models image inpainting semantic discrepancy structure-guided diffusion model texture denoising process

发现论文，激发创造

基于扩散模型的标签效率语义分割

本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

Dec, 2021

通过扩散模型实现语义图像合成

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

具有掩模先验建模的降噪扩散语义分割

本文中，我们提出了使用最近发展的去噪扩散生成模型建模的掩模先验来提高现有判别方法的语义分割质量。我们发现简单的集成扩散模型到语义分割中是不够的，并且一次差的扩散过程设计可能导致分割性能下降。我们通过多个实验表明，我们的方法在 ADE20K 和 Cityscapes 数据集上达到了较高的定量和定性性能。

Jun, 2023

利用结构边缘引导探索文本到图像扩散模型在多光谱卫星图像修复中的能力

研究了文本到图像修复模型在卫星图像数据中的实用性，通过引入基于 StableDiffusion 和 ControlNet 的新型修复框架以及一种新的 RGB 到 MSI 转换方法，解决了将结构引导信号注入到生成过程中的两个技术挑战，以及将修复的 RGB 像素转换为更广泛的 MSI 波段。对更广泛的数据集的结果表明，通过 StableDiffusion 生成的修复结果存在不受欢迎的伪影，而自监督内部修复的简单替代方法具有更高的合成质量。

Nov, 2023

人脑细胞分布图像修复的去噪扩散概率模型

使用最新的成像和高性能计算技术实现了在细胞水平对整个人脑进行成像，为研究人脑的多尺度结构（包括大脑区域和核团的划分、皮层层次、纵列和细胞群体）提供了基础。本研究提出了一种基于噪声扩散概率模型（DDPM）的模型，通过训练细胞染色切片的光镜扫描图像，能够可靠地填充缺失信息并生成高度逼真的图像信息，用于细胞统计和形态模式的分析，得到了验证。

Nov, 2023

基于扩散模型的图像编辑：一项综述

调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

Feb, 2024

Gradpaint: 基于梯度引导的扩散模型修复

GradPaint 是一种用于图像修复的方法，通过计算模型的损失与输入图像的相干性，并使用扩散模型本身的梯度来引导生成过程，从而改善了目前基于监督和非监督方法的最新技术。

Sep, 2023

全局结构引导扩散模型的文本图像修复

该论文旨在建立一个用于研究的基准，解决真实世界文本由于环境或人为因素导致的腐蚀问题，以及在当前的修复技术中存在的困难，通过提出一种新的神经框架来恢复清晰的文本，改善文本图像的识别准确性和图像质量。

Jan, 2024

SAM-DiffSR：图像超分辨率的结构调制扩散模型

我们提出了 SAM-DiffSR 模型，通过将细粒度结构信息编码到分割掩膜中，并在正向扩散过程中调制噪声，实现了对图像质量的改善，同时不增加推理过程中的计算成本。在 DIV2K 数据集上的实验结果表明，我们的方法在抑制伪影方面表现出卓越的性能，并且在 PSNR 方面超过现有的基于扩散的方法高达 0.74 dB。

Feb, 2024

MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

Mar, 2023