May, 2023

MMNet：用于指代图像分割的多掩模网络

PDF
TL;DR本文提出了一种端到端的多层蒙版网络 (MMNet), 旨在解决自然语言表达和图像之间数据差异的挑战。该模型使用关注机制生成多个查询，利用这些查询来产生对应的分割蒙版，最终的结果是所有蒙版的权重和，有效地减少了语言表达的随机性。结果表明，我们的方法在 RefCOCO、RefCOCO+ 和 G-Ref 三个数据集上性能优于现有的方法，无需任何后处理。
referring image segmentationmulti-mask networkattention mechanismlanguage expressionsegmentation masks
发现论文，激发创造
  • 面向语义的动态本地化和细化，用于指代图像分割

    本论文提出一种基于逐步学习区分性多模态特征的方法，通过不断更新查询作为目标对象的表示，强化与之相关的多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分和 / 或去除多余部分，并在 RefCOCO、RefCOCO+ 和 G-Ref 数据集上的实验结果表明其优于现有方法。

    Mar, 2023

  • 超越一对一：重新思考参考图像分割

    本文提出了一种双重多模态交互网络 (DMMI)，用于解决自然语言表达中引用图像分割的问题，并设计了一个新的挑战性但真实的数据集 Ref-ZOM，通过大量实验证明该方法在不同数据集上取得了最先进的性能，并且 Ref-ZOM 训练的模型能够良好地处理各种类型的文本输入。

    Aug, 2023

  • 用于指涉图像分割的跨模态自注意力网络

    本文提出了一种跨模态自注意模块 (CMSA)，可以有效地捕捉语言和视觉特征之间的长距离依赖关系，并且采用门控多层融合模块，以选择性地集成不同级别的特征。在多个数据集上的验证表明，我们的方法在图像分割任务上显著优于现有的最先进的方法。

    Apr, 2019

  • 用于压缩视频物体指代分割的多注意力网络

    本文提出了在压缩视频数据流上进行指代视频目标分割任务的多关注机制网络和基于查询的跨模态 Transformer 模块，实现了使用单核心直接生成最终分割掩模的复杂后处理过程的目标，结果表明其有效性。

    Jul, 2022

  • 多模态互相关注和迭代交互用于指代图像分割

    本篇论文提出了一种基于 Transformer 的多模态相互注意力机制和相互解码器，与之相结合的迭代式多模态交互机制及语言特征重建技术，在指代图像分割的任务中取得了很好的效果。

    May, 2023

  • 针对引用分割的视觉语言变换器和查询生成模型

    本文针对有挑战性的指称分割任务，利用注意力机制、多头注意力、查询生成模块和查询平衡模块等技术，构建了一种轻量级的网络架构来解决任务，并在 RefCOCO、RefCOCO + 和 G-Ref 三个数据集上实现了新的最高性能。

    Aug, 2021

  • LAVT：用于参照图像分割的语言感知视觉 Transformer

    本研究提出一种新的方法，在视觉 Transformer 编码器网络的中间层通过对语言和视觉特征进行交叉融合，实现更好的交叉模态对齐，进而通过轻量级的掩模预测器得到准确的分割结果，该方法在 RefCOCO、RefCOCO + 和 G-Ref 数据集上均超越了以往的最优方法。

    Dec, 2021

  • 用于参考图像分割的循环多模态交互

    本研究探讨了自然语言描述下图像分割的问题，提出了基于卷积多模态 LSTM 编码单词、视觉和空间信息的序列交互的方法，并在基准数据集上展示出了其比基准模型更好的性能。

    Mar, 2017

  • MaIL: 一种用于引用图像分割的统一遮罩 - 图像 - 语言三模态网络

    提出 MaIL 范式，是一个更加简洁的编码器 - 解码器流程，通过遮罩图像语言三模态编码器统一单模态特征提取器和它们的融合模型，实现不同模态间的充分特征交互，同时避免了单模态编码器与目标多模态任务之间的一致性问题，并首次在所有常用的引用图像分割数据集上引入实例掩模作为附加模态，显式强调实例级特征，并促进更细致的分割结果。

    Nov, 2021

  • 定位并分割：一个强大的指示物图像分割流水线

    本文从 “定位 - 再分割”（LTS）的视角来看待指涉图像分割任务，并提出了一个简单有效的方法，通过提取和融合视觉和文本特征，然后在视觉 - 文本特征之间应用交互，定位被指涉的对象，并使用轻量级分割网络生成分割结果。通过可视化实验，证明该模型更易于解释和理解，且在三个流行数据集上超过以往最先进方法，是指涉图像分割的一个强有力的基准。

    Mar, 2021