本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023

最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

Sep, 2023

ODISE 通过联合预训练的文本 - 图像推理和判别式模型实现开放式语料库全景分割，其能力高于现有技术水平，并能在 AED20K 数据集上达到 30.0 mIoU 和 23.4 PQ 的表现。

Mar, 2023

使用预训练的冻结稳定扩散的 MaskDiffusion 方法实现了开放词汇的语义分割，在没有额外训练或注释的情况下取得了较其他可比的无监督分割方法显著的定性和定量改善。

Mar, 2024

使用文本 - 图像扩散模型生成的图像及其内部的文本 - 图像交叉注意力作为监督伪掩码，通过提出的方法 “attn2mask”，我们实现了一种不依赖于真实图像或手动标注的语义分割训练方法。实验证明，attn2mask 在 PASCAL VOC 上取得了令人满意的结果，而完全不使用真实训练数据进行分割，并且对于更多类别的情景，如 ImageNet 分割，也有很好的扩展性。同时，attn2mask 还表现出了基于 LoRA 的微调的适应能力，可以将其迁移到遥远的领域，如 Cityscapes。

Sep, 2023

该论文介绍了一种用于开放词汇语义分割的无需训练的扩散增强方法（FreeDA），通过扩散模型的能力来可视化生成概念并通过局部 - 全局相似性将无类别区域与语义类别匹配，从而在五个数据集上实现了超过 7.0 平均 IoU 点的最先进性能，而无需任何训练。

Apr, 2024

本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

Jun, 2023

通过大规模视觉 - 语言模型，我们提出了一种简单但非常有效的无需训练的技术，Plug-and-Play 开放词汇语义分割（PnP-OVSS），并通过 Salience Dropout 技术实现了与现有技术相比的显着改善。

Nov, 2023

用不需要额外的训练的方法，通过交叉关注地图和掩膜引导实现文本到图像生成的空间控制。实验结果表明，所提出的方法在定性和定量上比基线方法实现了更准确的空间控制。

Aug, 2023

通过利用扩散模型生成的人工图像中的自由注意力掩膜进行无监督学习，可以在图像分类、检测、分割和图像 - 文本检索等多个下游任务中实现基线模型的一致性改进，从而缩小无监督预训练在合成数据和现实场景之间的性能差距。

Aug, 2023