IJCAIMar, 2023

来自图像标签文本的迭代式少样本语义分割

PDF
TL;DR本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架，实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法，还能够取得与最近的有监督方法相当甚至更好的结果，并且具有出色的野外图像和非常规类别的泛化能力。
发现论文，激发创造
  • 语言引导的少样本语义分割

    通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。

    Nov, 2023

  • 使用视觉和语义嵌入的共同关注实现弱监督的少样本目标分割

    本文提出了一种基于多模态交互模块的小样本物体分割方法，该方法利用视觉和词嵌入的协同注意机制，使用图像级标签在 PASCAL-5i 数据集上实现了 4.8％ 的提高，并在 YouTube-VOS 数据集上展示了 TOSFL 实验的实例级和类别级结果。

    Jan, 2020

  • 图像标签语义分割的增量学习

    该论文提出了一种新的语义分割框架，采用弱增量学习，使用辅助分类器和软标签更新模型，从图像级别标签中学习新类别的分割，可有效减少由像素逐像素标注带来的时间和经济成本。

    Dec, 2021

  • 基于图像级标签的粗到细语义分割

    该研究提出了一种基于图像类别标签的新型递归粗到细语义分割框架，可用于图像分割和前景分割等任务，并且只需要一个标签来处理包含多类别对象的图像。

    Dec, 2018

  • 少样本类别增量语义分割：伪标记和知识蒸馏

    我们提出了一种从少量样本中学习语义分割模型的新类别的方法，通过伪标签策略进行扩充，通过知识提取能够保留现有类别的知识。

    Aug, 2023

  • 利用 CLIP 重新思考少样本分割的先验信息生成

    通过将视觉与文本对齐能力作为先验表示，本研究提出了两种训练无关的先验信息生成策略，以更可靠的指导并增强模型的泛化能力。在 PASCAL-5i 和 COCO-20i 数据集上的实验证明我们的方法在少样本分割任务中取得了明显的改进，并达到了新的最先进性能。

    May, 2024

  • MatchSeg：通过参考图像匹配实现更好的分割

    使用少样本学习的方法，本研究提出了一种基于深度学习的医学图像分割框架 MatchSeg，通过匹配参考图像和设计联合注意力模块，实现了高效的领域泛化和优越的分割性能。

    Mar, 2024

  • 基于网络图像共分割的弱监督语义分割

    该研究提出了一种使用网络图像和图像级标签进行弱监督下的全卷积网络语义分割的方法，其利用大规模的共同分割框架从网络图像中生成标签，获得了 56.9 的交并比，在语义分割方案中取得了最新的性能。

    May, 2017

  • 少样本语义分割通过蒙版聚合

    本文提出了一种基于遮罩的分类方法 MASK Aggregation Network (MANet)，可以更好的解决 few-shot semantic segmentation 中像素关系和对象关系的问题，并在 PASCAL-5^i 和 COCO-20^i 数据集上展现出可与最新像素方法相媲美的表现，证明了基于遮罩的分类方法作为 few-shot semantic segmentation 的一个替代基线方法的潜力。

    Feb, 2022

  • CLIP 也是高效分割器：一种文本驱动的弱监督语义分割方法

    利用 Contrastive Language-Image Pre-training (简称 CLIP) 模型进行图像级标注的弱监督语义分割 (WSSS) 是一项具有挑战性的任务。本文提出了一种 CLIP-ES 框架，结合了 softmax 函数、基于文本的驱动策略和一种实时的基于注意力机制的亲和度 (CAA) 模块，以及 CGL 损失，来提高 WSSS 的效率和性能。

    Dec, 2022