ACLApr, 2021

全面多模互动用于图像分割指称

PDF
TL;DR本研究提出了一种基于 Synchronous Multi-Modal Fusion Module 和 Hierarchical Cross-Modal Aggregation Module 的引用图像分割模型，并通过四个基准数据集的实验验证了其性能优于现有最先进的方法。
referring image segmentationsynchronous multi-modal fusion modulehierarchical cross-modal aggregation modulecontextual informationbenchmark datasets
发现论文，激发创造
  • MARIS: 基于共互关注特征的图像指代分割

    通过引入互感关注机制来强化交叉模态融合，提出了一种新的参考图像分割方法 MARIS，借助于 Segment Anything Model (SAM)，通过两个并行分支，Vision-Guided Attention 和 Language-Guided Attention，双向建模视觉与语言特征之间的关系，并设计了一个 Mask Decoder 来实现明确的语言引导，以达到更一致的分割效果。

    Nov, 2023

  • 用于参考图像分割的循环多模态交互

    本研究探讨了自然语言描述下图像分割的问题，提出了基于卷积多模态 LSTM 编码单词、视觉和空间信息的序列交互的方法，并在基准数据集上展示出了其比基准模型更好的性能。

    Mar, 2017

  • 参照图像分割的两阶段视觉线索增强网络

    本文旨在解决 参考图像分割 (RIS) 中当图像中被参考的物体视觉线索不足时，学习匹配行为变得更困难的问题，提出了一种两阶段视觉提示增强网络 (TV-Net)，可以有效增强参考物体的视觉信息，尤其是在视觉线索不足的情况下。并且通过在四个基准数据集上的实验，验证了所提出的 TV-Net 方法有效性并超越了现有技术的水平。

    Oct, 2021

  • 通过目标提示和视觉连贯性实现通用关联图像分割

    提出了一种新的参考图像分割方法，通过增加明确关键提示和多模态融合聚合模块，提高了其泛化能力和处理未见过的场景的能力。

    Dec, 2023

  • 空间语义循环挖掘用于指代图像分割

    本研究提出了 Spatial Semantic Recurrent Mining (S extsuperscript {2} RM) 方法，用于实现高质量的跨模态融合，包括分布语言特征、空间语义递归协同解析和解析语义平衡，并结合 Cross-scale Abstract Semantic Guided Decoder (CASG) 来凸显指代物的前景。实验证明，该方法在四个具有挑战性的数据集上表现优于其他先进算法。

    May, 2024

  • 跨模态掩码自蒸馏用于指代图像分割的 CM-MaskSD

    本文提出了一种名为 CM-MaskSD 的跨模态掩膜自学习框架，利用被称为 CLIP 模型的知识实现了精细的图像 - 文本对齐，并引入少量参数协调多模态特征，使其在三个基准数据集上优于现有方法，实现了对指定图像中物体的分割。

    May, 2023

  • HARIS：用于参考图像分割的类人注意力

    本文提出了一种称为 HARIS 的指代图像分割方法，引入了类似于人类的注意机制和参数高效微调框架，通过多模态特征的反馈信号使网络专注于特定对象并丢弃无关的图像 - 文本对，同时引入了参数高效微调框架以保持预训练编码器的零样本能力，实验证明该方法在三个广泛使用的 RIS 基准和 PhraseCut 数据集上取得了最先进的性能和出色的零样本能力。

    May, 2024

  • 融合与校准：一种双向的视觉语言引导的用于指代图像分割的框架

    本文介绍了 FCNet（一个使用双向引导融合方法的框架），其中视觉和语言在引导角色中相互作用，旨在解决自然语言描述与像素级细节之间的关联问题，并通过在多模态特征上进行初始融合和进一步校准，提高多模态特征的质量。实验结果表明，我们的方法在多个数据集上优于现有最先进算法。

    May, 2024

  • 利用文本监督进行参考图像分割

    我们提出了一种新颖的弱监督引用图像分割 (RIS) 框架，通过将目标定位问题在分类过程中进行正负文本表达的区分来利用 RIS 中已有的引用文本提供的信息来定位目标物体。我们的框架具有三个主要创新点：借助双向提示方法协调视觉和语言特征之间的域差异，通过校准方法减少噪声背景信息并提高响应图的正确性，通过正响应图选择策略从增强的响应图生成高质量的伪标签，用于训练 RIS 推理的分割网络。通过在四个基准数据集上的实验证明，我们的框架在与现有的全监督 RIS 方法相当的性能的同时，优于从相关领域调整的最新弱监督方法。

    Aug, 2023

  • 多模态互相关注和迭代交互用于指代图像分割

    本篇论文提出了一种基于 Transformer 的多模态相互注意力机制和相互解码器，与之相结合的迭代式多模态交互机制及语言特征重建技术，在指代图像分割的任务中取得了很好的效果。

    May, 2023