本文提出基于 Transformer 模型的弱监督语义图像分割方法 Text Grounded Semantic Segmentation (TSEG)，通过学习从图像级别的文本语句直接生成分割掩模，实现了从提及的表达式中进行图像分割，实验结果表明在 PhraseCut 和 RefCOCO 数据集上 TSEG 表现出了很好的弱监督语义分割效果，并且在 Pascal VOC 数据集的无监督语义分割任务中也具有很强的竞争力。

May, 2022

在此研究中，我们使用弱监督学习方法，利用训练图像的文本描述作为唯一的监督来源，解决了训练数据标记成本高昂的问题，并提出了一种新模型来发现输入图像中的语义实体，并组合与文本查询相关的实体来预测指代物的掩码。我们还提出了一种新的损失函数，使得模型可以在没有进一步监督的情况下进行训练。我们的方法在四个公共基准数据集上进行了评估，明显优于相同任务的现有方法和最近的开放词汇分割模型。

Aug, 2023

提出一种名为 VATEX 的新框架，通过使用视觉感知文本特征来改进指代图像分割，在复杂场景中，通过将视觉特征与文本描述相结合，使用 CLIP 来生成初始查询，然后通过上下文理解来强制执行文本变体之间的特征相似性，并保证了语言表达的一致解释。该方法在三个基准数据集 RefCOCO、RefCOCO + 和 G-Ref 上取得了显著的性能改进。

Apr, 2024

本文提出了一个基于自然语言表达式的图像分割新问题，在此任务中，我们使用全新的终端到终端训练的递归卷积网络模型来提取像素级的分割结果，它能够同时学习处理视觉和语义信息，实验结果表明我们的方法在对自然语言表达式进行分割时能够产生更高质量的的分割效果。

Mar, 2016

本文介绍了一种通过端到端可训练的理解网络，由语言和视觉编码器组成，从语言和图像领域提取特征表示，提出了空间感知动态滤波器来转移文本到图像的知识并有效捕获指定对象的空间信息，并采用生成的字幕网络来加强语言和视觉模块之间的通信以及改进两者的表示，在两个数据集上评估了所提出的框架，并表明该方法在状态 - of-the-art 算法中表现良好。

Oct, 2019

本文提出一种利用语言描述指定目标对象的视频目标分割方法，通过扩展图像的语言基础模型来保证时空连续的预测，实验结果表明这种基于语言监督的方法在 DAVIS'16 数据集上表现与使用像素级掩模的传统方法相同，在 DAVIS'17 数据集上表现优于使用涂鸦的方法。

Mar, 2018

本研究提出一种新的方法，在视觉 Transformer 编码器网络的中间层通过对语言和视觉特征进行交叉融合，实现更好的交叉模态对齐，进而通过轻量级的掩模预测器得到准确的分割结果，该方法在 RefCOCO、RefCOCO + 和 G-Ref 数据集上均超越了以往的最优方法。

Dec, 2021

本研究探讨了自然语言描述下图像分割的问题，提出了基于卷积多模态 LSTM 编码单词、视觉和空间信息的序列交互的方法，并在基准数据集上展示出了其比基准模型更好的性能。

Mar, 2017

该研究利用编码器 - 解码器结构和关系注意力等特征，提出了一种新的在两个图像之间生成关系说明的模型，并透过对新收集及公开的数据集进行实验，证明其比现有的各种基准线和方法都要好。

Jun, 2019

本文从 “定位 - 再分割”（LTS）的视角来看待指涉图像分割任务，并提出了一个简单有效的方法，通过提取和融合视觉和文本特征，然后在视觉 - 文本特征之间应用交互，定位被指涉的对象，并使用轻量级分割网络生成分割结果。通过可视化实验，证明该模型更易于解释和理解，且在三个流行数据集上超过以往最先进方法，是指涉图像分割的一个强有力的基准。

Mar, 2021