May, 2023

基于语义的物体聚类在视频物体分割任务中的应用

PDF
TL;DR通过语义辅助对象聚类（SOC）的多模态对比监督和强调时间上的连贯性，提出了一种在视频级别视觉语言对齐的增强下，对引用视频对象分割（RVOS）的研究，有效利用间帧关系和理解对象时间变化的文本描述。进行了大量的实验，并在所有基准测试中，我们的方法都以显著的优势优于现有的最先进竞争对手。
referring video object segmentationsemantic-assisted object clustermulti-modal contrastive supervisiontemporal coherencevideo-level visual-linguistic alignment
发现论文，激发创造
  • 从自上而下的视角重新思考跨模态交互，用于指代视频对象分割

    该研究提出了一种基于 Transformer 的两阶段自顶向下 Referring video object segmentation 解决方案，其中构建了一组详尽的对象 tracklets，并提出了一种 Transformer-based tracklet-language grounding 模块，模型在 CVPR2021 Referring Youtube-VOS 挑战赛上排名第一。

    Jun, 2021

  • 在线 Refer：基于简单的在线基准的视频对象引用分割

    通过引用视频目标分割（RVOS）的方法，本研究提出了一种名为 OnlineRefer 的简单而有效的在线模型，它利用明确的查询传播来改进当前帧的引用预测的准确性和便捷性，并将其推广为半在线框架以与基于视频的主干网络兼容。在四个基准测试中进行了评估，即 Refer-Youtube-VOS、Refer-DAVIS17、A2D-Sentences 和 JHMDB-Sentences，结果表明我们的 OnlineRefer 在 Refer-Youtube-VOS 和 Refer-DAVIS17 上取得了 63.5 J&F 和 64.8 J&F 的成绩，优于所有其他离线方法。

    Jul, 2023

  • 利用视觉语言预训练模型驱动参考视频对象分割

    该研究提出了一种名为 VLP-RVOS 的框架，通过使用先前训练的 Vision-Language Pre-trained (VLP) 模型的对齐 VL 特征空间，解决了 Referring Video Object Segmentation (RVOS) 中的转移挑战。该方法通过引入一种时间感知的 prompt-tuning 方法和多阶段 VL 关系建模，以及自定义的立方体帧注意力机制进行综合的 VL 理解和空时推理，实验证明该方法优于现有算法并具有强大的泛化能力。

    May, 2024

  • 基于帧间交互和跨模态相关性的视频目标分割

    本文提出了 IFIRVOS 框架用于改善视频中的目标分割，其中设计的插件式 Transformer 编码器中的帧间交互模块和视觉语言交互模块提高了空时特征学习和视觉和语言特征之间的相关性，从而提高了分割结果的准确性和模型的性能。

    Jul, 2023

  • 朝向时间一致的参考视频对象分割

    提出了一种新的端到端的 R-VOS 范例，通过显式建模时序实例一致性与指定分割相结合，引入了一种新颖的混合内存，用于在鲁棒的时空匹配和传播中促进帧间协作；通过多粒度的关联将具有高质量参考掩码的帧的特征传播到其余帧，以实现时间一致的 R-VOS；此外，提出了一种新的掩码一致性评分 (MCS) 指标，用于评估视频分割的时间一致性；大量实验证明我们的方法显著提高了时间一致性，在流行的 R-VOS 基准测试中取得了最高的性能，即 Ref-YouTube-VOS (67.1%) 和 Ref-DAVIS17 (65.6%)。

    Mar, 2024

  • 从弱监督的注释中学习视频物体指代分割

    基于一种新的注释方案，我们提出了一种弱监督的方法，通过语言引导的动态过滤器和双层对比学习方法，实现了在不要求密集标注的情况下取得了有竞争力的性能。

    Aug, 2023

  • 第一名解决方案：第五届 LSVOS 挑战赛 - 视频对象引用分割

    通过将 RVOS 模型与 Two-Stage Multi-Model Fusion 策略结合，提出了一种有效的模式，该模式在 Ref-Youtube-VOS 验证集上实现了 75.7% 的 J&F， 在测试集上实现了 70% 的 J&F，在第 5 届大规模视频对象分割挑战（ICCV 2023）的第 3 组中排名第一。

    Jan, 2024

  • 长短文本联合预测网络：应用于指代视频目标分割

    本文提出了一种基于短文本表达的参考视频对象分割方法，结合长短文本表达进行联合预测，并引入了一种前向 - 后向视觉一致性损失，实现了在 A2D-Sentences 和 JHMDB-Sentences 数据集上表现出的显著性改进。

    Jun, 2023

  • GroPrompt：用于参考视频对象分割的高效基于上下文提示和适应性

    该研究提出了一种基于 Grounded Prompting (GroPrompt) 框架的高效适应基础分割模型来解决仅通过弱监督信息进行 Referring Video Object Segmentation (RVOS) 的问题，并提出了 Text-Aware Prompt Contrastive Learning (TAP-CL) 方法来增强位置提示和指代句子之间的关联。实验证明，该 GroPrompt 框架在标准 RVOS 基准测试中表现出竞争力，仅需边界框的弱监督信息即可。

    Jun, 2024

  • RVOS：端到端的循环神经网络用于视频对象分割

    该研究提出了一种基于循环神经网络的视频多目标分割模型，实现了零样本学习和时间上的目标连贯性，此模型在 DAVIS-2017 和 YouTube-VOS 基准测试上取得了优异的表现，并且其推理时间比现有方法更快。

    Mar, 2019