IJCAIMay, 2023

在全景野外场景下的视频对象分割

PDF
TL;DR本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。
semi-supervised video object segmentationviposegpanoptic object association with transformersreal-world scenariosexhaustive object annotations
发现论文，激发创造
  • 点指上行视频目标分割

    提出了一种基于稀疏点注释方案的新型 Point-VOS 任务和标注机制，通过基于伪掩码的训练可以使现有的 VOS 方法在性能上接近全监督的表现，并且该数据可用于改进视觉和语言相关的模型。

    Feb, 2024

  • 视频全景分割

    本文提出了一种名为 Video Panoptic Segmentation 的新型视觉识别任务，同时提出了两个视频全景数据集，以及一种 VPSNet 网络，在 VPQ 度量下，在 Cityscapes-VPS 和 VIPER 数据集上实现了最先进的结果。

    Jun, 2020

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 减少视频物体分割数据集注释工作量

    本研究通过使用深度卷积神经网络，基于较为便宜的边界框注释自动生成像素级别的伪标签；进而证明添加单个手工标注的掩模图像帧可以对训练视频目标分割（VOS）方法产生足够的影响，从而可以利用这些伪标签进行训练。我们将这种方法应用在 TAO 观察数据集，得到了一个挑战性的新的 TAO-VOS 基准数据集，为当前算法的不足揭示出明显的改进空间。

    Nov, 2020

  • Slot-VPS：视频全景分割的面向对象表示学习

    该论文提出了 Slot-VPS 框架，使用对象中心学习的方法，将所有视频中的 panoptic 实体编码成 panoptic slots，通过 Video Panoptic Retriever 来检索和编码统一的空间 - 时间信息，实现了对视频中对象的定位、分割、区分和关联，从而实现了 Video Panoptic Segmentation 任务的端到端处理。该方法在 Cityscapes-VPS 和 VIPER 数据集上均取得了 63.7，63.3，56.2 VPQ 的最优性能。

    Dec, 2021

  • 运动分析的鲁棒视觉跟踪

    通过分析运动模式使用固有的张量结构进行片段分割和目标追踪，该算法在 LaSOT、AVisT、OTB100 和 GOT-10k 等基准测试中取得了有竞争力的结果，并能够实现实时操作。

    Sep, 2023

  • 视频对象分割的学习策略

    该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

    Mar, 2020

  • 双镜头视频物体分割

    本文提出了一种新的视频对象分割训练范式 - 两张标记帧的视频对象分割，通过在训练期间生成伪标签并将其与已标记数据结合优化模型，我们仅需要稀疏注释就可以训练出令人满意的模型。通过使用 YouTube-VOS 和 DAVIS 基准测试的仅仅 7.3％和 2.9％标记数据，我们的方法取得了与全标记集训练的同行相当的结果。

    Mar, 2023

  • PanoVOS：利用 Transformer 桥接非全景和全景视图进行视频分割

    本文提出了一种全景视频数据集 PanoVOS，通过对现有的 15 个视频对象分割模型进行评估，发现它们都无法解决全景视频中像素级内容不连续的问题。因此，我们提出了一种全景空间一致性转换器 (PSCFormer)，可以利用前一帧的语义边界信息与当前帧进行像素级匹配。大量实验证明，与现有的模型相比，我们的 PSCFormer 网络在全景设置下的分割结果方面具有巨大优势。希望我们的 PanoVOS 数据集能够推动全景分割 / 跟踪的发展。

    Sep, 2023

  • 被注意力背叛：一种简洁而有效的自监督视频对象分割方法

    我们提出了一个简单而有效的方法来进行自监督视频对象分割 (VOS)。我们的关键观点是，DINO 预训练的 Transformer 中具有的固有结构依赖性可以用于建立视频中的稳健时空对应关系。此外，利用这种对应线索进行简单的聚类就足以产生具有竞争力的分割结果。我们开发了一个简化的架构来应对这些挑战，利用 DINO 预训练的 Transformer 中新兴的对象性，避免了使用额外的多模态或槽关注的需要。我们的方法在多个无监督 VOS 基准测试中展示了最先进的性能，特别在复杂的现实世界多对象视频分割任务中表现出色，如 DAVIS-17-Unsupervised 和 YouTube-VIS-19。

    Nov, 2023