Dec, 2021

Slot-VPS：视频全景分割的面向对象表示学习

PDF
TL;DR该论文提出了 Slot-VPS 框架，使用对象中心学习的方法，将所有视频中的 panoptic 实体编码成 panoptic slots，通过 Video Panoptic Retriever 来检索和编码统一的空间 - 时间信息，实现了对视频中对象的定位、分割、区分和关联，从而实现了 Video Panoptic Segmentation 任务的端到端处理。该方法在 Cityscapes-VPS 和 VIPER 数据集上均取得了 63.7，63.3，56.2 VPQ 的最优性能。
video panoptic segmentationslot-vpsobject-centric learningpanoptic slotsspatio-temporal object
发现论文，激发创造
  • 2024 年 PVUW 挑战赛第二名解决方案：视频全景分割

    我们提出了一个强大的整合视频全景分割解决方案，该方案基于 DVIS ++ 框架生成初始掩模，然后添加了额外的图像语义分割模型以进一步提高语义类别的性能。最终，我们的方法在视频全景分割任务中取得了 56.36 和 57.12 的 VPQ 得分，分别在开发和测试阶段排名第二。

    Jun, 2024

  • 视频全景分割

    本文提出了一种名为 Video Panoptic Segmentation 的新型视觉识别任务，同时提出了两个视频全景数据集，以及一种 VPSNet 网络，在 VPQ 度量下，在 Cityscapes-VPS 和 VIPER 数据集上实现了最先进的结果。

    Jun, 2020

  • Video-kMaX：一种简单的统一方法，用于在线和近线视频全景分割

    该研究提出了一种统一的方法来解决视频全景分割中线上和近线问题，并通过采用 clip-kMaX 和 HiLA-MB 等技术实现了此方法。该方法在 KITTI-STEP、VIPSeg 和 VSPW 等数据集上取得了最先进的成果，并将代码公开发布。

    Apr, 2023

  • 在全景野外场景下的视频对象分割

    本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。

    May, 2023

  • ViP-DeepLab：深入学习基于深度感知的全景视频分割的视觉感知

    ViP-DeepLab 是一种联合模型，尝试解决视觉中长期存在且具有挑战性的逆投影问题。该模型通过联合执行单眼深度估计和视频全景分割来处理该问题，并提供每个点的实例级语义解释。在子任务中，ViP-DeepLab 也取得了最先进的结果，在 Cityscapes-VPS 中超越以前的方法 5.1％ VPQ，在 KITTI 单眼深度估计基准测试中排名第一，在 KITTI MOTS 中排名第一。

    Dec, 2020

  • PVUW Challenge 2023 比赛中的第三名解决方案：视频全景分割

    为应对在野外进行视频全景分割任务，我们提出了一种强大的综合视频全景分割解决方案，通过将视频全景分割任务视为分割目标查询任务，利用神经网络提取的视频特征来预测分割掩码，同时添加了视频语义分割和视频实例分割等额外任务进行联合训练，提高了解决方案的学习准确性和收敛速度，最终在 VIPSeg 数据集上获得了第三名的好成绩。

    Jun, 2023

  • PVUW 2024 挑战赛三等奖解决方案：视频全景分割

    通过引入综合方法，基于 DVIS++ 模型和查询式集合的补充技术，我们提出的方案在 VIPSeg 测试集上取得了 57.01 的 VPQ 分数，并在第 3 届 Pixel-level Video Understanding in the Wild Challenge 的 VPS 赛道中排名第三。

    Jun, 2024

  • PolyphonicFormer: 深度感知视频全景分割的统一查询学习

    本文提出了一种称为 PolyphonicFormer 的视觉变换器，它使用查询查询技术将深度估计与全景分割统一起来，具有更好的性能。通过实验证明了我们的方法在深度估计和全景分割方面取得了最先进的结果，并在 ICCV-2021 BMTT 挑战赛中获得了第一名。

    Dec, 2021

  • 学习为视频全景分割关联每个段落

    本文探讨了如何通过学习粗略的分段级别和细微的像素级别匹配来实现动态场景的全景理解，提出了两个新颖的学习目标，并采用深度孪生模型来验证提议，最终在 Cityscapes-VPS 和 VIPER 数据集上实现了新的最新成果，同时也提高了模型的时间效率。

    Jun, 2021

  • PVUW 挑战赛 2023 年视频全景分割问题的第一名解决方案

    本文介绍了一种基于解耦策略的视频全景分割方法，该方法在开发和测试阶段分别达到了 51.4 和 53.7 的 VPQ 得分，并在第二届 PVUW 挑战赛的 VPS 赛道上排名第一。

    Jun, 2023