Dec, 2023

DVIS++: 通用视频分割的改进解耦框架

HTML
PDF
TL;DR我们提出了一种新颖的Decoupled VIdeo Segmentation (DVIS)框架，用于解决通用视频分割的难题，包括视频实例分割(VIS)，视频语义分割(VSS)和视频全景分割(VPS)。通过将视频分割解耦成三个级联的子任务：分割，跟踪和细化，我们的方法可以更简单、更有效地建模对象的时空表示，特别是在复杂场景和长视频中。我们引入了两个新颖的组件：引用跟踪器和时序细化器，这些组件对物体进行逐帧跟踪，并基于预对齐特征建模时空表示。为了改善DVIS的跟踪能力，我们提出了一种去噪训练策略，并引入对比学习，从而得到更强大的名为DVIS++的框架。此外，我们在多种设置下评估了DVIS++，包括开放词汇和使用冻结预训练骨干。通过将CLIP与DVIS++集成，我们提出了OV-DVIS++，第一个开放词汇的通用视频分割框架。我们在包括VIS、VSS和VPS数据集在内的六个主流基准上进行了大量实验证明，在接近词汇和开放词汇的设置下，DVIS++在这些基准上明显优于最先进的专门方法。
发现论文，激发创造
  • 通过轨迹查询和建议实现高效的视频实例分割

    EfficientVIS是一种全新的视频实例分割框架，实现了完全的端到端学习，采用了轨迹查询和轨迹建议技术，通过迭代式的查询-视频交互方法在空间和时间上关联和分割RoIs，采用了对应关系学习，不需要手工数据关联即可一次性实现整个视频实例分割，训练时间显著减少并在YouTube-VIS基准测试上达到了最先进的准确率。

    Mar, 2022

  • MinVIS: 一种不需要基于视频训练的最小化视频实例分割框架

    提出了一种最小化的视频实例分割框架 MinVIS，通过训练基于查询的图像实例分割模型来处理视频帧，通过相关性匹配跟踪分割实例，最大限度地减少对标注帧的需求，并在 Occluded VIS 和 YouTube-VIS 数据集上实现与完全监督方法相当的性能，达到了最先进的结果。

    Aug, 2022

  • TarViS: 基于目标的视频分割的统一方法

    该论文提出了TarViS，这是一种新颖的、统一的网络架构，可以应用于任何需要在视频中分割一组任意定义的“目标”的任务，它采用了近期具备多任务能力的方法，并使用抽象的“查询”来预测像素精度的目标掩码，其中一个TarViS模型可以联合训练在不同任务跨越数据集的集合上，并可以在推理过程中在不进行任何任务特定的重新训练的情况下在不同任务之间进行热交换，最终实现了在5/7基准测试中实现了这四个任务的最新性能，并在其余两个上具有竞争力。

    Jan, 2023

  • OpenVIS: 开放词汇视频实例分割

    本研究提出和研究了一项新的计算机视觉任务，名为OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的VLM预测其对应的类别，其次通过提议后处理方法更好地适应预训练的VLMs，以避免扭曲和不自然的提议输入。

    May, 2023

  • DVIS: 解耦的视频实例分割框架

    提出一种分离策略，并应用于视频实例分割任务，包括分割、跟踪和细化，使用引用跟踪器和时间细化器构建 Decoupled VIS 框架(DVIS)，并在 OVIS 和 VIPSeg 数据集上取得了新的 SOTA 表现。

    Jun, 2023

  • 第5届LSVOS挑战赛冠军解决方案：视频实例分割

    视频实例分割方法DVIS在训练过程中引入了去噪策略以实现在复杂和长视频中更稳定准确的目标跟踪，并利用DINO v2预训练的冻结的VIT-L模型探索了视觉基础模型在视频实例分割中的作用，最终在第5届LSVOS挑战赛中获得了第一名，其在开发和测试阶段分别达到了57.9 AP和56.0 AP。

    Aug, 2023

  • 使用解耦视频分割追踪任何对象

    开发了一种解耦视频分割方法（DEVA），包括任务特定的图像级分割和与类别/任务无关的双向时间传播模型，通过在线融合来生成一致的分割，在大词汇视频分割、开放世界视频分割、参考视频分割和无监督视频目标分割等多个数据稀缺任务中与端到端方法相比具有优势。

    Sep, 2023

  • UniRef++：对空间和时间空间中的每个参考对象进行分段

    在这项工作中，我们提出了UniRef++来统一四种基于参考的目标分割任务，并通过引入UniFusion模块和统一的Transformer架构，在处理不同的任务和实例级分割方面取得了最先进的性能。

    Dec, 2023

  • DVIS-DAQ：通过动态锚点查询提高视频分割

    现代视频分割方法采用对象查询来进行帧间关联，虽然在追踪连续出现的对象方面表现出令人满意的性能，但对新出现和消失的对象表现不佳。我们引入了动态锚点查询（DAQ）来通过基于潜在候选者的特征动态生成锚点查询，以缩短锚点和目标查询之间的过渡间隔。此外，我们引入了基于查询级别的对象出现和消失模拟（EDS）策略，以不增加任何额外成本的方式释放了DAQ的潜力。最后，我们将提出的DAQ和EDS与DVIS结合起来，获得了DVIS-DAQ，大量实验证明DVIS-DAQ在五个主流视频分割基准上实现了最新的最佳性能。代码和模型可在https://github.com/SkyworkAI/DAQ-VS找到。

    Mar, 2024

  • 上下文感知的视频实例分割

    该论文介绍了上下文感知视频实例分割（CAVIS）的新框架，通过整合与每个对象相邻的上下文信息来增强实例关联性，提出上下文感知实例追踪器（CAIT）有效地提取和利用这些信息，并将周围的上下文数据与核心实例特征进行合并以提高追踪精度。此外，引入了原型跨帧对比（PCC）损失函数，确保帧间物体级特征的一致性，从而显著提高实例匹配的准确性。CAVIS在视频实例分割（VIS）和视频全景分割（VPS）的所有基准数据集上展示出优越性能，特别是在尤为具有挑战性的OVIS数据集上表现出色。

    Jul, 2024