Dec, 2023

DVIS++: 通用视频分割的改进解耦框架

PDF
TL;DR我们提出了一种新颖的 Decoupled VIdeo Segmentation (DVIS) 框架，用于解决通用视频分割的难题，包括视频实例分割 (VIS)，视频语义分割 (VSS) 和视频全景分割 (VPS)。通过将视频分割解耦成三个级联的子任务：分割，跟踪和细化，我们的方法可以更简单、更有效地建模对象的时空表示，特别是在复杂场景和长视频中。我们引入了两个新颖的组件：引用跟踪器和时序细化器，这些组件对物体进行逐帧跟踪，并基于预对齐特征建模时空表示。为了改善 DVIS 的跟踪能力，我们提出了一种去噪训练策略，并引入对比学习，从而得到更强大的名为 DVIS++ 的框架。此外，我们在多种设置下评估了 DVIS++，包括开放词汇和使用冻结预训练骨干。通过将 CLIP 与 DVIS++ 集成，我们提出了 OV-DVIS++，第一个开放词汇的通用视频分割框架。我们在包括 VIS、VSS 和 VPS 数据集在内的六个主流基准上进行了大量实验证明，在接近词汇和开放词汇的设置下，DVIS++ 在这些基准上明显优于最先进的专门方法。
发现论文，激发创造
  • DVIS: 解耦的视频实例分割框架

    提出一种分离策略，并应用于视频实例分割任务，包括分割、跟踪和细化，使用引用跟踪器和时间细化器构建 Decoupled VIS 框架 (DVIS)，并在 OVIS 和 VIPSeg 数据集上取得了新的 SOTA 表现。

    Jun, 2023

  • UVIS: 无监督视频实例分割

    UVIS 是一种无监督视频实例分割框架，利用 DINO 模型的密集形状先验和 CLIP 模型的开放识别能力，通过帧级伪标签生成、基于 Transformer 的 VIS 模型训练和基于查询的跟踪等三个关键步骤实现，通过采用双存储器设计，包括语义存储器和跟踪存储器，以提高无监督环境下 VIS 预测的质量，在 YoutubeVIS-2019 等相应基准上取得了 21.1 AP 的结果，展示了该无监督 VIS 框架的潜力。

    Jun, 2024

  • 视频实例分割的通用框架

    提出了基于查询式训练和具有前状态信息的内存模块用于序列学习的通用可变的视频实例分割（GenVIS）方法，并在多个基准测试中取得了优秀的结果。

    Nov, 2022

  • 第 5 届 LSVOS 挑战赛冠军解决方案：视频实例分割

    视频实例分割方法 DVIS 在训练过程中引入了去噪策略以实现在复杂和长视频中更稳定准确的目标跟踪，并利用 DINO v2 预训练的冻结的 VIT-L 模型探索了视觉基础模型在视频实例分割中的作用，最终在第 5 届 LSVOS 挑战赛中获得了第一名，其在开发和测试阶段分别达到了 57.9 AP 和 56.0 AP。

    Aug, 2023

  • 2024 年 PVUW 挑战赛第二名解决方案：视频全景分割

    我们提出了一个强大的整合视频全景分割解决方案，该方案基于 DVIS ++ 框架生成初始掩模，然后添加了额外的图像语义分割模型以进一步提高语义类别的性能。最终，我们的方法在视频全景分割任务中取得了 56.36 和 57.12 的 VPQ 得分，分别在开发和测试阶段排名第二。

    Jun, 2024

  • 开放式视频实例分割

    本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的 MindVLT 实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。

    Apr, 2023

  • OpenVIS: 开放词汇视频实例分割

    本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的 VLM 预测其对应的类别，其次通过提议后处理方法更好地适应预训练的 VLMs，以避免扭曲和不自然的提议输入。

    May, 2023

  • MinVIS: 一种不需要基于视频训练的最小化视频实例分割框架

    提出了一种最小化的视频实例分割框架 MinVIS，通过训练基于查询的图像实例分割模型来处理视频帧，通过相关性匹配跟踪分割实例，最大限度地减少对标注帧的需求，并在 Occluded VIS 和 YouTube-VIS 数据集上实现与完全监督方法相当的性能，达到了最先进的结果。

    Aug, 2022

  • TarViS: 基于目标的视频分割的统一方法

    该论文提出了 TarViS，这是一种新颖的、统一的网络架构，可以应用于任何需要在视频中分割一组任意定义的 “目标” 的任务，它采用了近期具备多任务能力的方法，并使用抽象的 “查询” 来预测像素精度的目标掩码，其中一个 TarViS 模型可以联合训练在不同任务跨越数据集的集合上，并可以在推理过程中在不进行任何任务特定的重新训练的情况下在不同任务之间进行热交换，最终实现了在 5/7 基准测试中实现了这四个任务的最新性能，并在其余两个上具有竞争力。

    Jan, 2023

  • PVUW 挑战赛 2023 年视频全景分割问题的第一名解决方案

    本文介绍了一种基于解耦策略的视频全景分割方法，该方法在开发和测试阶段分别达到了 51.4 和 53.7 的 VPQ 得分，并在第二届 PVUW 挑战赛的 VPS 赛道上排名第一。

    Jun, 2023