文本增强的空间感知零样本指代图像分割

EMNLPOct, 2023

文本增强的空间感知零样本指代图像分割

Text Augmented Spatial-aware Zero-shot Referring Image Segmentation

Yucheng Suo, Linchao Zhu, Yi Yang

TL;DR通过引入具有文本增强的空间感知（TAS）零样本指代图像分割框架，本研究解决了零样本指代图像分割任务中的挑战，该任务旨在在没有像素级注释的情况下识别与指代表达最相关的实例掩码，并且在不同的视觉编码器上具有训练免费和鲁棒性的特点。

Abstract

In this paper, we study a challenging task of zero-shot referring image segmentation. This task aims to identify the instance mask that is most related to a referring expression without training on pixel-level an

zero-shot referring image segmentation instance mask referring expression clip text augmented spatial-aware

发现论文，激发创造

全局 - 局部文脈特徵的零样本指称图像分割

本文提出一种利用预训练的跨模态知识来进行零样本指代图像分割方法，在实验中，该方法优于其他零样本基线和弱监督提及表达式分割方法。

Mar, 2023

用于文本到图像扩散模型的零样本空间布局调节

使用文本生成图像的方法已显著提高了生成图像建模的状态，通过结合自然语言界面和空间控制，在本文中，我们考虑了与图像画布上特定位置对象相关的文本生成图像的问题，并提出了 ZestGuide，这是一种零 - shot 分割指导方法，可插入预先训练的文本到图像扩散模型中，我们的实验结果表明，在精准对齐所需的输入分割的情况下，与使用相应分割进行训练的组件相比，提高了图像质量，而在 COCO 数据集上，我们的结果比 Paint with Words 更好。

Jun, 2023

利用视觉感知文本特征改进指代图像分割

提出一种名为 VATEX 的新框架，通过使用视觉感知文本特征来改进指代图像分割，在复杂场景中，通过将视觉特征与文本描述相结合，使用 CLIP 来生成初始查询，然后通过上下文理解来强制执行文本变体之间的特征相似性，并保证了语言表达的一致解释。该方法在三个基准数据集 RefCOCO、RefCOCO + 和 G-Ref 上取得了显著的性能改进。

Apr, 2024

破碎和聚集：利用文本监督学习参考图像分割

在此研究中，我们使用弱监督学习方法，利用训练图像的文本描述作为唯一的监督来源，解决了训练数据标记成本高昂的问题，并提出了一种新模型来发现输入图像中的语义实体，并组合与文本查询相关的实体来预测指代物的掩码。我们还提出了一种新的损失函数，使得模型可以在没有进一步监督的情况下进行训练。我们的方法在四个公共基准数据集上进行了评估，明显优于相同任务的现有方法和最近的开放词汇分割模型。

Aug, 2023

SafaRi: 自适应序列变换器用于弱监督指称表达式分割

我们提出了一种弱监督引导架构用于指代表达分割，并引入了交叉模态融合、掩码有效性过滤等算法创新，通过只使用少量标注数据，在图像中实现目标物体的空间定位，实验结果表明我们的模型 SafaRi 在少量标注数据下表现优秀，具有强大的泛化能力。

Jul, 2024

通过目标提示和视觉连贯性实现通用关联图像分割

提出了一种新的参考图像分割方法，通过增加明确关键提示和多模态融合聚合模块，提高了其泛化能力和处理未见过的场景的能力。

Dec, 2023

联合优化文本和时刻的零样本密集视频字幕生成

ZeroTA 是一种用零样本方式进行密集视频字幕生成的新方法，它通过与语言生成模型和视觉语言模型的联合优化来定位和描述输入视频中的事件。

Jul, 2023

指称表达的弱监督分割

本文提出基于 Transformer 模型的弱监督语义图像分割方法 Text Grounded Semantic Segmentation (TSEG)，通过学习从图像级别的文本语句直接生成分割掩模，实现了从提及的表达式中进行图像分割，实验结果表明在 PhraseCut 和 RefCOCO 数据集上 TSEG 表现出了很好的弱监督语义分割效果，并且在 Pascal VOC 数据集的无监督语义分割任务中也具有很强的竞争力。

May, 2022

基于图像和描述之间的结构相似性的零样本指称表达理解

用大型基础模型在视觉和文本之间解耦，并通过计算结构相似矩阵和三元组匹配来提高零样本参照表达理解及视觉定位性能。

Nov, 2023

指代图像分割的遮罩定位

通过引入 Mask Grounding 辅助任务和跨模态对齐损失以及对应的对齐模块，提出了一种用于改善参照图像分割算法的综合方法 MagNet。该方法通过教授模型学习掩蔽文本标记与匹配的视觉对象之间的细粒度对应关系，在 RefCOCO、RefCOCO + 和 G-Ref 等三个关键基准测试中显著优于现有算法，有效地解决了当前参照图像分割算法的局限性。

Dec, 2023