Dec, 2023

GSVA：通过多模态大型语言模型进行广义分割

PDF
TL;DR该研究提出了广义引用表达分割（GRES）的问题，并引入了 Multimodal Large Language Models（MLLMs）的方法来解决这个问题，最终通过 Generalized Segmentation Vision Assistant（GSVA）在 gRefCOCO 数据集上取得了显著的改进和新的记录。
generalized referring expression segmentationmultimodal large language modelslisageneralized segmentation vision assistantgrefcoco dataset
发现论文，激发创造
  • 广义指称表达分割

    本文介绍了一个新的基准测试 Generalized Referring Expression Segmentation (GRES)，它允许表达式引用任意数量的目标对象，为此我们构建了第一个大规模数据集 gRefCOCO，并提出一种基于区域的 GRES 基线 ReLA，它适应性地将图像划分为具有子实例线索的区域，并明确建模区域 - 区域和区域 - 语言之间的依赖关系，在实验研究中，发现 GRES 的一个重要挑战是复杂的关系建模，而基于区域的方法 ReLA 在新提出的 GRES 和经典的 RES 任务上实现了最新的性能水平。

    Jun, 2023

  • 提升细化引用表达分割：超越单图像

    在更广泛的实际应用场景下，本文提出了一种名为群组式指称表达分割（Group-wise Referring Expression Segmentation，GRES）的更实际、更通用的多模态任务，并引入了一个完整的群组式指称数据集（Grouped Referring Dataset，GRD），该数据集包含由给定表达式描述的目标物体的完整群组式注释。同时，我们还提出了一种基线方法，名为 Grouped Referring Segmenter（GRSer），它明确地捕获语言视觉和群组内视觉 - 视觉交互，实现了 GRES 和相关任务如 Co-Salient Object Detection 和 RES 的最先进结果。

    May, 2023

  • 揭示超越物体的部分：迈向更精细的指代表达分割

    提出了一种多层次指代表达式分割任务 (MRES)，构建了一个评估基准 RefCOCOm 和一个规模为 32.2M 的高质量数据集 MRES-32M，设计了 UniRES 模型完成统一的对象级和部分级视觉对齐任务，通过在 RefCOCOm、RefCOCO (+/g) 等数据集上的实验证明了该方法的优越性。

    Dec, 2023

  • 将自适应绑定原型用于广义指代表达式分割

    基于自然语言表达的参考表达分割 (RES) 引起了越来越多的关注，本文提出了一种新的具有自适应绑定原型的模型 (MABP)，通过将查询自适应绑定到相应区域的物体特征上，显著扩展了解码器的灵活性，分散了全局压力，减轻了编码器的需求。实验结果表明，MABP 在 gRefCOCO 数据集的三个划分上明显优于最先进的方法，同时在 RefCOCO + 和 G-Ref 数据集上超过了最先进的方法，在 RefCOCO 上取得了非常有竞争力的结果。

    May, 2024

  • HDC：具有计数辅助的层次语义解码的广义指代表达分割

    通过引入 Hierarchical Semantic Decoding with Counting Assistance (HDC) 框架，以解决 Generalized Referring Expression Segmentation (GRES) 中的空间关系复杂性和多指代情景中目标理解的模糊性问题，HDC 能够在多种场景下进行全面的对象感知。

    May, 2024

  • 元组合指代表述分割

    本文通过元学习的角度，提出了一种 Meta Compositional Referring Expression Segmentation (MCRES) 框架，以提高模型的组合泛化性能。我们的框架可以有效地驱使模型更好地捕捉单个概念的语义和视觉表示，从而在处理新的组合时获得稳健的泛化性能。通过三个基准数据集的广泛实验，证明了我们框架的有效性。

    Apr, 2023

  • VLT: 面向参考分割的视觉语言变换器和查询生成

    该研究提出了一种轻量级的视觉 - 语言 Transformer 框架来实现引用分割，其中包括 Query Generation Module，Query Balance Module 以及 masked contrastive learning，它们能够动态生成多个特定于输入的查询，以明晰理解语言表达的多样性，同时针对不同的语言表达方式进行了明确的跨样本学习。该框架在五个数据集上都实现了最新的引用分割成果。

    Oct, 2022

  • RESMatch: 半监督方式下的指代表达式分割

    该研究介绍了 RESMatch，这是一种用于参考表达分割的半监督学习方法，旨在减少对详尽数据标注的依赖，通过修订强扰动、文本增强和强弱监督质量调整等三种创新，RESMatch 在多个数据集上显著优于基线方法，并树立了新的最优效果，为以后的半监督学习参考表达分割研究奠定了基础。

    Feb, 2024

  • LAVT：用于参照图像分割的语言感知视觉 Transformer

    本研究提出一种新的方法，在视觉 Transformer 编码器网络的中间层通过对语言和视觉特征进行交叉融合，实现更好的交叉模态对齐，进而通过轻量级的掩模预测器得到准确的分割结果，该方法在 RefCOCO、RefCOCO + 和 G-Ref 数据集上均超越了以往的最优方法。

    Dec, 2021

  • 基于频谱引导的多粒度视频对象分割

    当前的参考视频对象分割（R-VOS）技术从编码（低分辨率）视觉语言特征中提取条件内核，用于分割解码的高分辨率特征。我们发现这导致显著的特征漂移，分割内核在前向计算过程中难以感知。为了解决漂移问题，我们提出了一种谱导向的多粒度（SgMg）方法，它直接在编码特征上进行分割，并利用视觉细节进一步优化蒙版。此外，我们提出了谱导向的跨模态融合（SCF），以在频谱域中进行帧内全局交互，实现有效的多模态表示。最后，我们扩展了 SgMg 以执行多对象 R-VOS，这是一种能够在视频中同时分割多个引用对象的新范式。这不仅使 R-VOS 更快，而且更实用。广泛的实验证明，SgMg 在四个视频基准数据集上实现了最先进的性能，在 Ref-YouTube-VOS 上超越了最接近的竞争者 2.8 个百分点。我们的扩展 SgMg 实现了多对象 R-VOS，在保持满意性能的同时运行速度大约快 3 倍。

    Jul, 2023