自然语言表达式的分割

Mar, 2016

Segmentation from Natural Language Expressions

Ronghang Hu, Marcus Rohrbach, Trevor Darrell

TL;DR本文提出了一个基于自然语言表达式的图像分割新问题，在此任务中，我们使用全新的终端到终端训练的递归卷积网络模型来提取像素级的分割结果，它能够同时学习处理视觉和语义信息，实验结果表明我们的方法在对自然语言表达式进行分割时能够产生更高质量的的分割效果。

Abstract

In this paper we approach the novel problem of segmenting an image based on a natural language expression. This is different from traditional semantic segmentation over a predefined set of semantic classes, as e.g., the phrase "two men sitting on the right bench" requires segmenting only the two people on the right bench and no one standing or sitting on ano

image segmentation natural language processing convolutional network model recurrent lstm network spatial response map

发现论文，激发创造

自然语言引导的动态多模态实例分割

本研究旨在处理通过自然语言描述的对象分割问题，并提出了一种新的方法，将递归神经网络和卷积神经网络相结合以完全利用语言的递归本质。通过四个标准数据集的比较，我们的方法在八个任务中的六个任务中表现超越之前的方法。

Jul, 2018

用于参考图像分割的循环多模态交互

本研究探讨了自然语言描述下图像分割的问题，提出了基于卷积多模态 LSTM 编码单词、视觉和空间信息的序列交互的方法，并在基准数据集上展示出了其比基准模型更好的性能。

Mar, 2017

利用大规模视觉和文本数据集进行指称表达式的图像分割

本文提出了一种利用现有大规模视觉和文本数据集进行基于语言的图像分割模型训练的方法，并证明该方法可以帮助实现该任务并优于以前的结果。

Aug, 2016

语言指代表达的视频目标分割

本文提出一种利用语言描述指定目标对象的视频目标分割方法，通过扩展图像的语言基础模型来保证时空连续的预测，实验结果表明这种基于语言监督的方法在 DAVIS'16 数据集上表现与使用像素级掩模的传统方法相同，在 DAVIS'17 数据集上表现优于使用涂鸦的方法。

Mar, 2018

定位并分割：一个强大的指示物图像分割流水线

本文从 “定位 - 再分割”（LTS）的视角来看待指涉图像分割任务，并提出了一个简单有效的方法，通过提取和融合视觉和文本特征，然后在视觉 - 文本特征之间应用交互，定位被指涉的对象，并使用轻量级分割网络生成分割结果。通过可视化实验，证明该模型更易于解释和理解，且在三个流行数据集上超过以往最先进方法，是指涉图像分割的一个强有力的基准。

Mar, 2021

基于标题感知的指代表达式物体分割

本文介绍了一种通过端到端可训练的理解网络，由语言和视觉编码器组成，从语言和图像领域提取特征表示，提出了空间感知动态滤波器来转移文本到图像的知识并有效捕获指定对象的空间信息，并采用生成的字幕网络来加强语言和视觉模块之间的通信以及改进两者的表示，在两个数据集上评估了所提出的框架，并表明该方法在状态 - of-the-art 算法中表现良好。

Oct, 2019

利用文本分割和深度卷积序列从自然场景图像中离线提取印度区域语言

本文提出了一种通过图像纠正和分割以及使用深度学习技术进行文本识别和自然语言处理的方法，以从自然现场图像中提取区域语言信息，相比现有方法具有更好的性能。

Jun, 2018

面向语义的动态本地化和细化，用于指代图像分割

本论文提出一种基于逐步学习区分性多模态特征的方法，通过不断更新查询作为目标对象的表示，强化与之相关的多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分和 / 或去除多余部分，并在 RefCOCO、RefCOCO+ 和 G-Ref 数据集上的实验结果表明其优于现有方法。

Mar, 2023

指称表达的弱监督分割

本文提出基于 Transformer 模型的弱监督语义图像分割方法 Text Grounded Semantic Segmentation (TSEG)，通过学习从图像级别的文本语句直接生成分割掩模，实现了从提及的表达式中进行图像分割，实验结果表明在 PhraseCut 和 RefCOCO 数据集上 TSEG 表现出了很好的弱监督语义分割效果，并且在 Pascal VOC 数据集的无监督语义分割任务中也具有很强的竞争力。

May, 2022

PhraseCut: 野外语言图像分割

通过对 Visual Genome 数据集的扩充，我们将自然语言短语与图像区域进行分割，并处理大量物体和结构类别及其属性描述，包括颜色、形状、部分以及与图像中其他实体的关系，提出一种模块化的方法来结合类别、属性和关系线索以优化目前状况下的图像分割。

Aug, 2020