使用潜在扩散模型生成合成数据集的方法，通过自我关注来实现基于头部信息的语义信息提取，从稳定扩散潜变量中直接获取类别无关的图像分割，并利用文本到像素的交叉关注进行先前生成掩膜的分类，最后通过仅使用稳定扩散输出图像进行掩膜精化步骤的提出。

Jun, 2024

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

通过使用基于 DALL-E 和扩散模型的生成模型，我们提出了 DatasetDM，一个通用的数据集生成模型，可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1％的手动标记图像，使得生成无限大的注释数据集成为可能。我们生成了具有丰富密集像素级标签的数据集，并在语义分割和实例分割方面取得了最先进的结果。

Aug, 2023

最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

Sep, 2023

应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像，相对于传统生成模型在图像质量和皮损分割性能上表现更优，SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。

Oct, 2023

使用预训练的冻结稳定扩散的 MaskDiffusion 方法实现了开放词汇的语义分割，在没有额外训练或注释的情况下取得了较其他可比的无监督分割方法显著的定性和定量改善。

Mar, 2024

本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023

扩散模型是具有令人印象深刻的文本到图像合成能力的生成模型，对于传统机器学习任务产生了一系列创新方法。然而，如何运用这些生成模型的感知知识来进行视觉任务仍然是一个未解之谜。本研究发现，自动生成的描述能够改善文本图像对齐，并显著提升模型的交叉注意力图，从而提高知觉性能。我们的方法在 ADE20K 数据集上改进了当前最先进的基于扩散的语义分割模型，并在 NYUv2 数据集上改进了当前最先进的深度估计模型。此外，我们的方法适用于跨领域环境；我们使用模型个性化和标题修改来将模型与目标域对齐，并改善了非对齐基准的性能。我们的目标检测模型，在 Pascal VOC 数据集上训练，实现了 Watercolor2K 数据集上的最佳结果。我们的分割方法，在 Cityscapes 数据集上训练，实现了 Dark Zurich-val 和 Nighttime Driving 数据集上的最佳结果。

Sep, 2023

利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

Jun, 2024

我们在地球观测任务中研究使用生成图像扩散来解决标注数据稀缺的问题，并发现生成的样本在提高卫星语义分割的定量性能方面取得了显著的改进。

Mar, 2024