CVPRMar, 2021

定位并分割：一个强大的指示物图像分割流水线

PDF
TL;DR本文从 “定位 - 再分割”（LTS）的视角来看待指涉图像分割任务，并提出了一个简单有效的方法，通过提取和融合视觉和文本特征，然后在视觉 - 文本特征之间应用交互，定位被指涉的对象，并使用轻量级分割网络生成分割结果。通过可视化实验，证明该模型更易于解释和理解，且在三个流行数据集上超过以往最先进方法，是指涉图像分割的一个强有力的基准。
referring image segmentationlocate-then-segmentcross-modal representationvisualization experimentsstrong baseline
发现论文，激发创造
  • LAVT：用于参照图像分割的语言感知视觉 Transformer

    本研究提出一种新的方法，在视觉 Transformer 编码器网络的中间层通过对语言和视觉特征进行交叉融合，实现更好的交叉模态对齐，进而通过轻量级的掩模预测器得到准确的分割结果，该方法在 RefCOCO、RefCOCO + 和 G-Ref 数据集上均超越了以往的最优方法。

    Dec, 2021

  • 面向语义的动态本地化和细化，用于指代图像分割

    本论文提出一种基于逐步学习区分性多模态特征的方法，通过不断更新查询作为目标对象的表示，强化与之相关的多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分和 / 或去除多余部分，并在 RefCOCO、RefCOCO+ 和 G-Ref 数据集上的实验结果表明其优于现有方法。

    Mar, 2023

  • 基于语言结构引导的上下文建模用于指代图像分割

    该研究提出了一种基于依赖解析树抑制词语图的语言结构引导的多模态上下文建模方法，通过 “采集 - 传播 - 分发” 方案实现跨模态交互，完善地建模了句子的多模态上下文，实验证明该方法优于以往所有最先进的方法。

    Oct, 2020

  • 语言指代表达的视频目标分割

    本文提出一种利用语言描述指定目标对象的视频目标分割方法，通过扩展图像的语言基础模型来保证时空连续的预测，实验结果表明这种基于语言监督的方法在 DAVIS'16 数据集上表现与使用像素级掩模的传统方法相同，在 DAVIS'17 数据集上表现优于使用涂鸦的方法。

    Mar, 2018

  • MMNet：用于指代图像分割的多掩模网络

    本文提出了一种端到端的多层蒙版网络 (MMNet), 旨在解决自然语言表达和图像之间数据差异的挑战。该模型使用关注机制生成多个查询，利用这些查询来产生对应的分割蒙版，最终的结果是所有蒙版的权重和，有效地减少了语言表达的随机性。结果表明，我们的方法在 RefCOCO、RefCOCO+ 和 G-Ref 三个数据集上性能优于现有的方法，无需任何后处理。

    May, 2023

  • EAVL：明确对齐视觉与语言以实现图像引用分割

    通过显式对齐视觉和语言特征，我们提出了针对指代图像分割的显式对齐视觉和语言的方法（EAVL），该方法通过生成多个查询并将其转换为一系列基于查询的卷积核，在分割阶段对齐语言和视觉特征，以实现与语言相关的定位，并在 RefCOCO，RefCOCO + 和 G-Ref 上超过了之前最先进的方法。

    Aug, 2023

  • 利用视觉感知文本特征改进指代图像分割

    提出一种名为 VATEX 的新框架，通过使用视觉感知文本特征来改进指代图像分割，在复杂场景中，通过将视觉特征与文本描述相结合，使用 CLIP 来生成初始查询，然后通过上下文理解来强制执行文本变体之间的特征相似性，并保证了语言表达的一致解释。该方法在三个基准数据集 RefCOCO、RefCOCO + 和 G-Ref 上取得了显著的性能改进。

    Apr, 2024

  • 基于标题感知的指代表达式物体分割

    本文介绍了一种通过端到端可训练的理解网络，由语言和视觉编码器组成，从语言和图像领域提取特征表示，提出了空间感知动态滤波器来转移文本到图像的知识并有效捕获指定对象的空间信息，并采用生成的字幕网络来加强语言和视觉模块之间的通信以及改进两者的表示，在两个数据集上评估了所提出的框架，并表明该方法在状态 - of-the-art 算法中表现良好。

    Oct, 2019

  • CRIS: 基于 CLIP 推理的参考图像分割

    本文提出了一种基于 CLIP 的终端到终端的指代图像分割框架（CRIS），该框架采用视觉语言解码器和对比学习实现文本到像素级特征的对齐，通过在三个基准数据集上的实验结果表明，该框架的性能显著优于现有方法。

    Nov, 2021

  • 针对参考分割的实例特定特征传播

    本文提出了一种新的框架，通过特征传播同时检测感兴趣的目标并生成细粒度分割遮罩，该方法比一阶段和二阶段方法更能够协同和交互地利用视觉和语言信息进行同步识别和分割，并在实验测试中优于先前的最先进方法，关键词包括指代分割，自然语言表达，实例分割模型，特征传播和同步识别。

    Apr, 2022