减少视频物体分割数据集注释工作量

Nov, 2020

减少视频物体分割数据集注释工作量

Reducing the Annotation Effort for Video Object Segmentation Datasets

Paul Voigtlaender, Lishu Luo, Chun Yuan, Yong Jiang, Bastian Leibe

TL;DR本研究通过使用深度卷积神经网络，基于较为便宜的边界框注释自动生成像素级别的伪标签；进而证明添加单个手工标注的掩模图像帧可以对训练视频目标分割（VOS）方法产生足够的影响，从而可以利用这些伪标签进行训练。我们将这种方法应用在 TAO 观察数据集，得到了一个挑战性的新的 TAO-VOS 基准数据集，为当前算法的不足揭示出明显的改进空间。

Abstract

For further progress in video object segmentation (VOS), larger, more diverse, and more challenging datasets will be necessary. However, densely labeling every frame with pixel masks does not scale to large datasets. We use a deep →

video object segmentation convolutional network pseudo-labels tao-vos benchmark state-of-the-art methods

发现论文，激发创造

视频对象分割的一次性训练

本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

May, 2024

双镜头视频物体分割

本文提出了一种新的视频对象分割训练范式 - 两张标记帧的视频对象分割，通过在训练期间生成伪标签并将其与已标记数据结合优化模型，我们仅需要稀疏注释就可以训练出令人满意的模型。通过使用 YouTube-VOS 和 DAVIS 基准测试的仅仅 7.3％和 2.9％标记数据，我们的方法取得了与全标记集训练的同行相当的结果。

Mar, 2023

点指上行视频目标分割

提出了一种基于稀疏点注释方案的新型 Point-VOS 任务和标注机制，通过基于伪掩码的训练可以使现有的 VOS 方法在性能上接近全监督的表现，并且该数据可用于改进视觉和语言相关的模型。

Feb, 2024

视频目标分割中注释的内容与方法学习

EVA-VOS 是一种视频目标分割的人机协作注释框架，通过引入代理模型进行逐帧帧选择和注释类型预测，可以实现高准确度且比传统视频注释方法快 3.5 倍的对象掩模生成与注释时间降低。

Nov, 2023

DVOS: 自我监督的密集纹理视频目标分割

使用多任务学习的扩散方法，我们发展了一种半自监督时空方法，通过模拟真实视频的光流和运动来合成可用于训练 DVOS 模型的计算机注释视频；在小麦头部分割方面，我们提出的方法表现出较高的性能，当在无人机捕捉的外部测试集上进行测试时，Dice 分数达到了 0.82。

Jun, 2024

使用伪标签的半监督视频显著目标检测

本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

Aug, 2019

学习视频目标分割的快速和稳健的目标模型

该研究提出了一种新的视频对象分割方式，它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型，以预测出粗略但鲁棒的目标分割，然后将粗略的分数转化成高质量的分割掩模，该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验，其结果与现有技术相比具有更高的帧率和优异的性能。

Feb, 2020

视频对象分割的学习策略

该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

Mar, 2020

在全景野外场景下的视频对象分割

本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。

May, 2023

卷积神经网络在线自适应视频目标分割

本文介绍了一种半监督视频目标分割方法，它使用了基于一阶段学习的预训练神经网络，结合在线训练和预训练步骤，显著提高了在 DAVIS 数据集上的分割性能。

Jun, 2017