具有掩模先验建模的降噪扩散语义分割

Jun, 2023

具有掩模先验建模的降噪扩散语义分割

Denoising Diffusion Semantic Segmentation with Mask Prior Modeling

Zeqiang Lai, Yuchen Duan, Jifeng Dai, Ziheng Li, Ying Fu...

TL;DR本文中，我们提出了使用最近发展的去噪扩散生成模型建模的掩模先验来提高现有判别方法的语义分割质量。我们发现简单的集成扩散模型到语义分割中是不够的，并且一次差的扩散过程设计可能导致分割性能下降。我们通过多个实验表明，我们的方法在 ADE20K 和 Cityscapes 数据集上达到了较高的定量和定性性能。

Abstract

The evolution of semantic segmentation has long been dominated by learning more discriminative image representations for classifying each pixel. Despite the prominent advancements, the priors of segmentation masks themselves, e.g., geometric and semantic constraints, are still under-ex

semantic segmentation mask prior modeling diffusion models denoising segmentation quality

发现论文，激发创造

基于扩散模型的标签效率语义分割

本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

Dec, 2021

DiffMap: 使用扩散模型增强地图分割中的地图先验

构建高清地图是实现自动驾驶的关键需求之一。本研究提出了 DiffMap，一种利用潜在扩散模型对地图分割掩码的结构先验进行建模的新方法，可以提高语义分割方法的性能并有效修正分割输出中的结构错误，进而改进生成地图的质量。通过广泛的可视化分析，我们的模型在生成更准确反映真实世界地图布局的结果方面表现出优越的能力，从而进一步验证了其有效性。

May, 2024

掩码扩散模型学习速度快

我们提出了一种基于先验的去噪训练框架，并将先训练和微调范式纳入扩散模型的训练过程，从而显着提高了训练效率和生成的图像质量。

Jun, 2023

在扩散模型中引入形状先验模块进行医学图像分割

我们提出了一种名为 VerseDiff-UNet 的端到端框架，利用了去噪扩散概率模型（DDPM），并通过将噪声图像与标记的掩模相结合，准确地引导扩散方向朝向目标区域，从而实现准确和多样的脊椎医学图像分割模板。此外，我们还结合了形状先验模块来捕获医学图像中特定的解剖学先验信息。通过对 X 光成像获取的一组脊椎图像数据集进行评估，我们的结果表明，VerseDiff-UNet 在准确性方面明显优于其他最先进的方法，并且保留了解剖学的自然特征和变异。

Sep, 2023

SatSynth: 针对航空语义分割的扩充图像 - 掩膜对的扩散模型

我们在地球观测任务中研究使用生成图像扩散来解决标注数据稀缺的问题，并发现生成的样本在提高卫星语义分割的定量性能方面取得了显著的改进。

Mar, 2024

MaskDiffusion: 利用预训练扩散模型进行语义分割

使用预训练的冻结稳定扩散的 MaskDiffusion 方法实现了开放词汇的语义分割，在没有额外训练或注释的情况下取得了较其他可比的无监督分割方法显著的定性和定量改善。

Mar, 2024

遮蔽扩散作为自监督表示学习者

最近，去噪扩散概率模型展示了最先进的生成性能，并被用作强大的像素级表示学习器。本文将扩散模型内在的生成能力与表示学习能力之间的相互关系进行了分解。我们提出了掩蔽扩散模型 (MDM)，这是一种可扩展的自监督表示学习器，用于将传统扩散中的加性高斯噪声替换为遮罩机制。我们所提出的方法在医学和自然图像语义分割任务中明显超越了先前的基准，并在少样本场景下展示了显著的进展。

Aug, 2023

通过扩散模型实现语义图像合成

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

EmerDiff：扩散模型中的新兴像素级语义知识

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

因式分解扩散结构用于无监督图像生成与分割

我们发展了一种神经网络架构，以无监督的方式作为去噪扩散模型进行训练，同时学习生成和分割图像。通过去噪扩散目标来推动学习，无需任何注释或有关区域的先验知识进行训练。神经网络的计算瓶颈鼓励去噪网络将输入分成区域，在并行处理中去噪并结合结果。我们训练的模型生成了合成图像，并通过简单检测其内部预测分割来进行语义分割。在没有任何微调的情况下，我们直接将我们的无监督模型应用于通过加噪和随后去噪来分割真实图像的下游任务。实验表明，我们的模型在多个数据集上实现了准确的无监督图像分割和高质量的合成图像生成。

Sep, 2023