Mar, 2024

DVIS-DAQ：通过动态锚点查询提高视频分割

HTML
PDF
TL;DR现代视频分割方法采用对象查询来进行帧间关联，虽然在追踪连续出现的对象方面表现出令人满意的性能，但对新出现和消失的对象表现不佳。我们引入了动态锚点查询（DAQ）来通过基于潜在候选者的特征动态生成锚点查询，以缩短锚点和目标查询之间的过渡间隔。此外，我们引入了基于查询级别的对象出现和消失模拟（EDS）策略，以不增加任何额外成本的方式释放了DAQ的潜力。最后，我们将提出的DAQ和EDS与DVIS结合起来，获得了DVIS-DAQ，大量实验证明DVIS-DAQ在五个主流视频分割基准上实现了最新的最佳性能。代码和模型可在https://github.com/SkyworkAI/DAQ-VS找到。
发现论文，激发创造
  • 视频物体分割的提议生成、精化和合并

    我们提出了一种名为PReMVOS的半监督视频对象分割算法，它将问题分为生成准确的对象分割掩码提案和选择和合并这些提案成为准确且时间上连续的像素级对象轨迹，并在同时处理跨视频序列分割多个对象的困难问题方面取得了最先进的结果。

    Jul, 2018

  • 无监督视频对象分割的锚点扩散

    本文研究了一种基于像素嵌入和密集对应的方法，有效地利用时间段内的远距离依赖性和无在线监督，用于快速和准确地进行视频物体分割，并与竞争状态下的在线半监督方法具有很高的可比性。

    Oct, 2019

  • 实例作为查询

    提出一种QueryInst方法，以查询为基础进行实例分割，其实现是通过在动态掩模头上进行并行监督。经过各种实验后，QueryInst在实例分割和视频实例分割（VIS）任务上达到了最佳表现，在所有在线VIS方法中取得了最佳性能并达到适当的速度-准确度平衡。

    May, 2021

  • MinVIS: 一种不需要基于视频训练的最小化视频实例分割框架

    提出了一种最小化的视频实例分割框架 MinVIS，通过训练基于查询的图像实例分割模型来处理视频帧，通过相关性匹配跟踪分割实例，最大限度地减少对标注帧的需求，并在 Occluded VIS 和 YouTube-VIS 数据集上实现与完全监督方法相当的性能，达到了最先进的结果。

    Aug, 2022

  • TarViS: 基于目标的视频分割的统一方法

    该论文提出了TarViS，这是一种新颖的、统一的网络架构，可以应用于任何需要在视频中分割一组任意定义的“目标”的任务，它采用了近期具备多任务能力的方法，并使用抽象的“查询”来预测像素精度的目标掩码，其中一个TarViS模型可以联合训练在不同任务跨越数据集的集合上，并可以在推理过程中在不进行任何任务特定的重新训练的情况下在不同任务之间进行热交换，最终实现了在5/7基准测试中实现了这四个任务的最新性能，并在其余两个上具有竞争力。

    Jan, 2023

  • DVIS: 解耦的视频实例分割框架

    提出一种分离策略，并应用于视频实例分割任务，包括分割、跟踪和细化，使用引用跟踪器和时间细化器构建 Decoupled VIS 框架(DVIS)，并在 OVIS 和 VIPSeg 数据集上取得了新的 SOTA 表现。

    Jun, 2023

  • 第5届LSVOS挑战赛冠军解决方案：视频实例分割

    视频实例分割方法DVIS在训练过程中引入了去噪策略以实现在复杂和长视频中更稳定准确的目标跟踪，并利用DINO v2预训练的冻结的VIT-L模型探索了视觉基础模型在视频实例分割中的作用，最终在第5届LSVOS挑战赛中获得了第一名，其在开发和测试阶段分别达到了57.9 AP和56.0 AP。

    Aug, 2023

  • 指代视频对象分割的时态采集与分发

    视频对象分割通过自然语言表达对视频序列中的参照物进行分割，提出了同时维护全局参照标记和一系列对象查询的方法，以实现对对象在帧级别的定位和分割，进而利用新颖的时间采集-分布机制来捕捉对象动态并进行时空交叉模态推理，实验结果表明，该方法在所有基准测试中始终显著优于最先进的方法。

    Sep, 2023

  • DVIS++: 通用视频分割的改进解耦框架

    我们提出了一种新颖的Decoupled VIdeo Segmentation (DVIS)框架，用于解决通用视频分割的难题，包括视频实例分割(VIS)，视频语义分割(VSS)和视频全景分割(VPS)。通过将视频分割解耦成三个级联的子任务：分割，跟踪和细化，我们的方法可以更简单、更有效地建模对象的时空表示，特别是在复杂场景和长视频中。我们引入了两个新颖的组件：引用跟踪器和时序细化器，这些组件对物体进行逐帧跟踪，并基于预对齐特征建模时空表示。为了改善DVIS的跟踪能力，我们提出了一种去噪训练策略，并引入对比学习，从而得到更强大的名为DVIS++的框架。此外，我们在多种设置下评估了DVIS++，包括开放词汇和使用冻结预训练骨干。通过将CLIP与DVIS++集成，我们提出了OV-DVIS++，第一个开放词汇的通用视频分割框架。我们在包括VIS、VSS和VPS数据集在内的六个主流基准上进行了大量实验证明，在接近词汇和开放词汇的设置下，DVIS++在这些基准上明显优于最先进的专门方法。

    Dec, 2023

  • ClickVOS: 点击视频目标分割

    Video Object Segmentation task is addressed by proposing Click Video Object Segmentation (ClickVOS), an end-to-end baseline approach called Attention Before Segmentation (ABS), which utilizes the given point in the first frame to perceive the target object through a concise yet effective segmentation attention, leading to improved object mask accuracy.

    Mar, 2024