Nov, 2023

语言引导的少样本语义分割

PDF
TL;DR通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。
few-shot learningsemantic segmentationlanguage informationmask distillationvision-guided methods
发现论文，激发创造
  • 来自图像标签文本的迭代式少样本语义分割

    本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架，实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法，还能够取得与最近的有监督方法相当甚至更好的结果，并且具有出色的野外图像和非常规类别的泛化能力。

    Mar, 2023

  • 使用引导网络进行少样本分割传播

    该研究提出了一种名为 guided networks 的机器学习方法，可以在极少的监督下自动完成图像分割任务，可开展多项任务而无需再进行优化，是一种在分割准确性和时间效率方面表现优越的方法。

    May, 2018

  • SemiVL: 基于视觉 - 语言引导的半监督语义分割

    SemiVL 是一种结合了视觉 - 语言模型的丰富先验知识与半监督语义分割的方法，通过空间微调策略和语言引导解码器的设计，以及提供类别定义的语言指导，实现了更好的语义决策边界。在 4 个语义分割数据集上进行评估时，SemiVL 明显优于以前的半监督方法，例如，在带有 232 个已注释图像的 COCO 上，mIoU 提高了 + 13.5，在带有 92 个标签的 Pascal VOC 上，mIoU 提高了 + 6.1。

    Nov, 2023

  • 简单语义辅助的少样本学习

    利用少量数据进行学习是一项具有挑战性的计算机视觉任务，本文通过引入高质量的语义以及使用简单的网络结构，设计了一个名为 “语义进化” 的自动化方式来解决少样本学习中的问题，实验证明该方法在少样本分类任务中表现优异。

    Nov, 2023

  • 视觉 - 语义对比对齐在小样本图像分类中的应用

    本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

    Oct, 2022

  • 少样本类别增量语义分割：伪标记和知识蒸馏

    我们提出了一种从少量样本中学习语义分割模型的新类别的方法，通过伪标签策略进行扩充，通过知识提取能够保留现有类别的知识。

    Aug, 2023

  • 使用视觉和语义嵌入的共同关注实现弱监督的少样本目标分割

    本文提出了一种基于多模态交互模块的小样本物体分割方法，该方法利用视觉和词嵌入的协同注意机制，使用图像级标签在 PASCAL-5i 数据集上实现了 4.8％ 的提高，并在 YouTube-VOS 数据集上展示了 TOSFL 实验的实例级和类别级结果。

    Jan, 2020

  • 自导和互导学习用于少样本分割

    本篇文章介绍了一种简单但有效的自导学习方法，用于提高查询图像的分割性能，特别是在 few-shot 分割任务中。同时，也提出了一种新的交叉引导模块，用于改善多次采样的分割结果。实验结果表明，该方法在 PASCAL-5i 和 COCO-20i 数据集上可以达到新的最优性能。

    Mar, 2021

  • 小样本图像识别的语义提示

    该研究提出了一种基于语义提示的适应性视觉特征提取方法，通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力，从而在极少量的支持样本下，实现更好的类别特定特征捕捉和更广泛的图像表示。

    Mar, 2023

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023