使用视觉和语义嵌入的共同关注实现弱监督的少样本目标分割

IJCAIJan, 2020

使用视觉和语义嵌入的共同关注实现弱监督的少样本目标分割

Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings

Mennatullah Siam, Naren Doraiswamy, Boris N. Oreshkin, Hengshuai Yao, Martin Jagersand

TL;DR本文提出了一种基于多模态交互模块的小样本物体分割方法，该方法利用视觉和词嵌入的协同注意机制，使用图像级标签在 PASCAL-5i 数据集上实现了 4.8％的提高，并在 YouTube-VOS 数据集上展示了 TOSFL 实验的实例级和类别级结果。

Abstract

Significant progress has been made recently in developing few-shot object segmentation methods. Learning is shown to be successful in few-shot segmentation settings, using pixel-level, scribbles and bounding box supervision. This paper takes another approach, i.e., only requiring image-level label for →

few-shot object segmentation multi-modal interaction module co-attention mechanism word embeddings temporal object segmentation for few-shot learning

发现论文，激发创造

来自图像标签文本的迭代式少样本语义分割

本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架，实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法，还能够取得与最近的有监督方法相当甚至更好的结果，并且具有出色的野外图像和非常规类别的泛化能力。

Mar, 2023

语言引导的少样本语义分割

通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。

Nov, 2023

一种可微元学习模型用于少样本语义分割

该研究提出了一种基于元学习的新框架 MetaSegNet，通过全局和局部特征分支，在元学习中提取少样本语义分割的适当元知识，并将线性模型集成到 MetaSegNet 中，以实现一次性精确地多目标分割。实验结果表明，该方法在 K 路少样本语义分割任务中表现出良好的效果。

Nov, 2019

联合弱监督学习语义匹配和物体共分割：展示、匹配和分割

我们提出了一种联合匹配和分割图像集合中同一类别的对象实例的方法，这种方法利用了两个任务的互补性，通过从语义匹配得到的估计密集对应场来提供对象共分割的监督，并且从对象共分割得到的预测对象掩码来改善语义匹配的性能，我们的算法在五个基准数据集上表现优异。

Jun, 2019

弱监督视频显著目标检测

本文提出了基于新型弱标注的视频显著目标检测模型，并使用外观运动融合模块和双向 ConvLSTM 框架来实现有效的多模态学习和长期时序建模，还设计了一种前景背景相似度损失和一种弱标注增强策略，以提高模型性能和伪标签生成技术。在六个基准视频显著性检测数据集上的实验结果证明了我们方案的有效性。

Apr, 2021

利用标题中的信息进行弱监督语义分割

通过多模态网络，该工作借助互联网上的图像标注来进行弱监督学习，实现语境上下文对图像中出现的类别的提取与分割，并在 COCO 数据集上取得了 SOTA 的结果。

May, 2019

弱监督语义分割的解耦空间神经关注模型

本文提出了一种基于神经网络空间注意力机制的弱监督图像分割算法，通过生成高质量的伪标注提升模型精度，在弱监督语义分割任务上达到了最先进水平。

Mar, 2018

使用像素度量学习的快速视频目标分割

该研究致力于解决在给定用户注释指向感兴趣的物体的情况下的视频对象分割问题。作者提出了一种基于学习嵌入空间的像素级检索方法，并使用全卷积网络作为嵌入模型，使用修改后的三元组损失进行训练。作者提出的方法支持不同类型的用户输入，如在第一帧中的分割遮罩（半监督情况下），或者一个稀疏的点击点集合（交互情况下），并在计算成本上获得了很好的结果。在半监督场景中，该方法达到了与现有技术相比竞争性的结果，但计算成本仅为每帧 275 毫秒。在交互式场景中，该方法能够实时响应用户的每个输入，并达到了与竞争方法相当的质量，但交互程度要少得多。

Apr, 2018

少样本 3D 点云语义分割

为了解决 3D 点云语义分割中数据有限和模型泛化性能差的问题，本文提出了一种基于注意力机制多突出物体的跨导语义分割方法，并在各种 Few-shot 点云语义分割场景下取得了显著的效果提升。

Jun, 2020

简单语义辅助的少样本学习

利用少量数据进行学习是一项具有挑战性的计算机视觉任务，本文通过引入高质量的语义以及使用简单的网络结构，设计了一个名为 “语义进化” 的自动化方式来解决少样本学习中的问题，实验证明该方法在少样本分类任务中表现优异。

Nov, 2023