基于扩散模型的标签效率语义分割

ICLRDec, 2021

基于扩散模型的标签效率语义分割

Label-Efficient Semantic Segmentation with Diffusion Models

Dmitry Baranchuk, Ivan Rubachev, Andrey Voynov, Valentin Khrulkov, Artem Babenko

TL;DR本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

Abstract

Denoising diffusion probabilistic models have recently received much research attention since they outperform alternative approaches, such as GANs, and currently provide state-of-the-art generative performance. The superior performance of diffusion models has made them an appealing too

diffusion models semantic segmentation pretrained models markov step pixel-level representations

发现论文，激发创造

基于扩散模型的图像编辑：一项综述

调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

Feb, 2024

EmerDiff：扩散模型中的新兴像素级语义知识

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

具有掩模先验建模的降噪扩散语义分割

本文中，我们提出了使用最近发展的去噪扩散生成模型建模的掩模先验来提高现有判别方法的语义分割质量。我们发现简单的集成扩散模型到语义分割中是不够的，并且一次差的扩散过程设计可能导致分割性能下降。我们通过多个实验表明，我们的方法在 ADE20K 和 Cityscapes 数据集上达到了较高的定量和定性性能。

Jun, 2023

SegDiff: 基于扩散概率模型的图像分割

本研究提出了一种新方法，利用扩展后的扩散概率方法，通过端到端学习和使用编码器 - 解码器网络，对图像进行分割。该方法可以迭代地细化分割图，获得最终的分割结果，在多个基准数据集上获得了最先进的结果。

Dec, 2021

时序集成扩散模型的稳健半监督分割

本研究侧重于使用扩散模型进行半监督图像分割，特别是针对领域泛化问题，结论表明较小的扩散步骤生成的潜在表示比较大的步骤更具鲁棒性，通过利用信息密集的小步骤和较大步骤的正则化效果生成预测，该模型在领域变化设置中表现出明显较好的性能且在领域内保持有竞争力的性能，突显了 DDPM 在半监督医学图像分割中的潜力并提供了优化其在领域变化下性能的见解。

Nov, 2023

视觉中的扩散模型：一项调研

本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

Sep, 2022

扩散模型在图像分类上胜过 GAN

本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

Jul, 2023

通过扩散模型实现语义图像合成

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

扩散模型是一个无需训练的开放词汇语义切分工具

最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

Sep, 2023

医学图像扩散分割分析

对扩散分割与图像生成之间的区别进行分析和讨论，重点关注训练行为，评估直接用于分割的扩散分割架构的表现，以及不同医学分割任务对扩散分割行为的影响及相应的扩散过程的调整方法。通过这些分析，旨在为未来扩散分割方法的设计和评估提供深入见解。

Mar, 2024