CVPRMar, 2020

实时视频对象分割的状态感知跟踪器

PDF
TL;DR本研究提出一种新型的 State-Aware Tracker (SAT) 模型来进行半监督视频目标分割。SAT 利用视频属性和目标帧之间的一致性来获得更高的效率，并通过两个反馈循环实现更稳定和鲁棒的表现，获得了在 DAVIS2017-Val 数据集上 72.3% 的 J&F 均值和秒级的速度，并在 github.com/MegviiDetection/video_analyst 上发布了代码。
semi-supervised video object segmentationstate-aware trackerreal-time speedinter-frame consistencyself-adaptation
发现论文，激发创造
  • 基于时间聚合网络和动态模板匹配的快速视频对象分割

    本文介绍了一种将 “tracking-by-detection” 引入视频对象分割的方法，通过提出一种新的时间聚合网络和新的动态时间演进模板匹配机制，成功将分割与跟踪相一致，并在 DAVIS 基准测试中取得了新的最优表现。

    Jul, 2020

  • 运动分析的鲁棒视觉跟踪

    通过分析运动模式使用固有的张量结构进行片段分割和目标追踪，该算法在 LaSOT、AVisT、OTB100 和 GOT-10k 等基准测试中取得了有竞争力的结果，并能够实现实时操作。

    Sep, 2023

  • 视频目标分割的层次化时空 Transformer

    本文提出了一种名为 HST 的半监督视频对象分割框架，使用 Swin Transformer 和 Video Swin Transformer 提取图像和视频特征，并使用内存读取操作产生层次特征以精确重构对象蒙版，该框架在处理复杂场景下具有有效性和鲁棒性，尤其是 HST-B 在多个流行基准测试中优于现有技术。

    Jul, 2023

  • 高效长短时注意力网络用于无监督视频目标分割

    无监督视频对象分割（VOS）旨在识别视频中主要前景对象的轮廓，但以往的方法没有充分利用时空上下文，并且无法在实时中处理这一具有挑战性的任务。因此，本文提出了一种高效的长短时序注意力网络（LSTA），从整体视角解决了无监督 VOS 任务。该网络由长时序记忆和短时序注意力两个主要模块组成，前者通过编码外观模式来捕获过去帧和当前帧的长期全局像素关系，后者通过编码动态模式来揭示附近帧和当前帧的短期局部像素关系。为了加快推理速度，采用了高效投影和基于局部性的滑动窗口，分别实现了两个轻量级模块的几乎线性时间复杂度。在几个基准测试中进行了大量实证研究，证明了所提方法具有高效的有希望的性能。

    Sep, 2023

  • 在全景野外场景下的视频对象分割

    本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。

    May, 2023

  • 快速在线物体跟踪和分割：一种统一的方法

    该研究介绍了一种名为 SiamMask 的方法，可实现单个简单方法的实时视觉对象跟踪和半监督视频对象分割。 在实时操作过程中，SiamMask 仅依赖于单个边界框初始化，以每秒 55 帧的速度产生类不可知对象分割掩模和旋转边界框。 该方法在 VOT-2018 实时跟踪器中实现了新的最新技术，同时在 DAVIS-2016 和 DAVIS-2017 的半监督视频对象分割任务中提供了最佳速度和最佳性能。

    Dec, 2018

  • 单次视频目标分割

    本文提出一种基于神经网络的半监督视频目标分割技术，能够在保证处理速度的前提下提升目标分割的效果。

    Nov, 2016

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 快速准确的在线视频目标分割：通过追踪部位

    本研究提出了一种快速准确的视频目标分割算法，使用一个基于部件跟踪的方法来处理具有大变形、遮挡或杂乱背景的视频，生成部分掩模，最后采用基于相似性得分的函数来完善目标部分。实验结果表明，此算法可在 DAVIS 基准数据集上获得比其他算法更高的分割精度，并实现更快的运行时性能。

    Jun, 2018

  • 无时序信息的视频目标分割

    该论文利用全卷积神经网络架构，基于 ImageNet 上学习的通用语义信息，结合单个对象的外观学习，实现了半监督的视频对象分割，提高了结果的精度和效率。

    Sep, 2017