Jul, 2023

DifFSS: 少样本语义分割扩散模型

PDF
TL;DRDifFSS is a novel few-shot semantic segmentation paradigm which leverages the powerful generation ability of diffusion models to generate diverse auxiliary support images for FSS models by using semantic masks, scribbles or soft HED boundaries without modifying their network structure, leading to a consistent improvement in segmentation performance.
diffusion modelfew-shot semantic segmentationfssnetwork structuresegmentation performance
发现论文，激发创造
  • EmerDiff：扩散模型中的新兴像素级语义知识

    使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

    Jan, 2024

  • 少样本高保真原型的医学图像分割

    提出了一种新颖的 Detail Self-refined Prototype Network（DSPNet）用于构建全面表示目标前景和背景的高保真原型，以解决医学图像中具有复杂背景且对象不明显的情况下，已有模型在 few-shot 语义分割方面的不足。在三个具有挑战性的医学图像基准上的广泛实验证实了 DSPNet 相对于先前的最先进方法的优越性。

    Jun, 2024

  • 自适应 FSS: 一种通过原型增强的新型少样本分割框架

    基于适配器机制提出了一种新的 Few-Shot Segmentation (FSS) 框架，设计了 Prototype Adaptive Module (PAM) 来提高 FSS 模型的性能和实现新的最先进结果。

    Dec, 2023

  • 稠密亲和匹配用于少样本分割

    本文提出了一种密集亲和匹配（DAM）框架， 通过双向 3D 卷积密集捕捉每个支持 - 查询对中的像素对像素和像素对补丁关系来利用支持查询交互， 用于分割使用少量注释样本的新颖类别图像。

    Jul, 2023

  • 通过扩散特征弥合语义分割的领域差距

    利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

    Jun, 2024

  • 扩散模型是一个无需训练的开放词汇语义切分工具

    最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

    Sep, 2023

  • 基于预训练扩散模型的零样本视频语义分割

    我们引入了第一个基于预训练扩散模型的零样本视频语义分割方法，该方法在各种视频语义分割基准测试中明显优于现有的零样本图像语义分割方法，并且在 VSPW 数据集上与有监督的视频语义分割方法不相上下，尽管它没有经过显式的 VSS 训练。

    May, 2024

  • SketchFFusion: 基于扩散模型的草图引导图像编辑

    本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。

    Apr, 2023

  • 自监督少样本语义分割：一种无需标注的方法

    借鉴谱分解方法，将图像分解问题视为图划分任务，并通过特征亲和力矩阵的拉普拉斯矩阵的特征向量分析来估计感兴趣对象的分布；提出一种新颖的自监督式 FSS 框架，不依赖于任何标注，并通过利用从支持图像获得的特征向量自适应地估计查询掩码，从而消除了手动注释的需求，特别适用于具有有限标注数据的医学图像；引入了多尺度大卷积核注意力模块，进一步提高了对支持图像提供的信息进行查询图像解码的能力，通过选择性地强调相关特征和细节，改善了分割过程并有助于更好的物体勾边；在自然和医学图像数据集上的评估结果展示了我们方法的高效性和有效性。

    Jul, 2023

  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021