本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

Dec, 2021

DiffSeg 基于扩散差异原理，利用扩散模型从具有多样的语义信息的图像中提取基于噪声的特征，识别出疾病区域，同时通过模拟医生的注释行为，可视化分割结果的一致性和模糊性，并使用广义能量距离（GED）量化输出不确定性，帮助医生解释和决策。最后，通过密集条件随机场（DenseCRF）算法整合输出，考虑像素之间的相关性，改善准确度并优化分割结果。我们在 ISIC 2018 Challenge 数据集中展示了 DiffSeg 的有效性，优于现有基于 U-Net 的方法。

Apr, 2024

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

Sep, 2023

构建高清地图是实现自动驾驶的关键需求之一。本研究提出了 DiffMap，一种利用潜在扩散模型对地图分割掩码的结构先验进行建模的新方法，可以提高语义分割方法的性能并有效修正分割输出中的结构错误，进而改进生成地图的质量。通过广泛的可视化分析，我们的模型在生成更准确反映真实世界地图布局的结果方面表现出优越的能力，从而进一步验证了其有效性。

May, 2024

本研究侧重于使用扩散模型进行半监督图像分割，特别是针对领域泛化问题，结论表明较小的扩散步骤生成的潜在表示比较大的步骤更具鲁棒性，通过利用信息密集的小步骤和较大步骤的正则化效果生成预测，该模型在领域变化设置中表现出明显较好的性能且在领域内保持有竞争力的性能，突显了 DDPM 在半监督医学图像分割中的潜力并提供了优化其在领域变化下性能的见解。

Nov, 2023

对扩散分割与图像生成之间的区别进行分析和讨论，重点关注训练行为，评估直接用于分割的扩散分割架构的表现，以及不同医学分割任务对扩散分割行为的影响及相应的扩散过程的调整方法。通过这些分析，旨在为未来扩散分割方法的设计和评估提供深入见解。

Mar, 2024

通过稳定扩散（SD）模型，我们引入了第一个潜伏扩散分割模型 ——SDSeg，该模型在医学图像分割中克服了资源和时间需求大、多步反向过程和多个样本预测可靠性等挑战，实验证明它在包含不同成像模态的五个基准数据集上胜过现有的最新方法。

Jun, 2024

使用预训练的冻结稳定扩散的 MaskDiffusion 方法实现了开放词汇的语义分割，在没有额外训练或注释的情况下取得了较其他可比的无监督分割方法显著的定性和定量改善。

Mar, 2024

通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估，我们的方法明显优于同行的工作。

Sep, 2023