CVPRApr, 2022

Video K-Net: 一个简单、稳健、统一的视频分割基线模型

PDF
TL;DR本文介绍了一种名为 Video K-Net 的全新视频语义分割框架，通过与基于 kernel 的出现模型相结合来跟踪视频中的物体实例，并在多个数据集上达到了最佳表现，此外，该框架也能进一步扩展为视频示例分割和视频语义分割。
video k-netend-to-end video panoptic segmentationkernel interactionstate-of-the-artunified video segmentation
发现论文，激发创造
  • K-Net：面向统一图像分割

    本文提出了一种名为 K-Net 的统一、简单、有效的框架，通过一组可学习的内核一致地分割实例和语义类别

    Jun, 2021

  • Video-kMaX：一种简单的统一方法，用于在线和近线视频全景分割

    该研究提出了一种统一的方法来解决视频全景分割中线上和近线问题，并通过采用 clip-kMaX 和 HiLA-MB 等技术实现了此方法。该方法在 KITTI-STEP、VIPSeg 和 VSPW 等数据集上取得了最先进的成果，并将代码公开发布。

    Apr, 2023

  • RT-K-Net：重新审视 K-Net 实现实时全景分割

    本文提出了新的改进 K-Net 结构的方法，以实现实时全景分割，达到了 60.2% 的最新性能表现。

    May, 2023

  • 视频全景分割

    本文提出了一种名为 Video Panoptic Segmentation 的新型视觉识别任务，同时提出了两个视频全景数据集，以及一种 VPSNet 网络，在 VPQ 度量下，在 Cityscapes-VPS 和 VIPER 数据集上实现了最先进的结果。

    Jun, 2020

  • 用于全景分割的完全卷积网络

    本文介绍了一种名为 Panoptic FCN 的概念简单、强大、高效的全景分割框架，该方法旨在以统一的卷积管道中表示和预测前景物体和背景杂物。通过提出的内核生成器，Panoptic FCN 将每个对象实例或杂物类别编码为特定的内核权重，并通过将高分辨率特征直接卷积来生成预测。通过这种方法，实例感知和语义一致的特性可以分别在一个简单的生成内核，然后进行分割的工作流中得以满足。在 COCO、Cityscapes 和 Mapillary Vistas 数据集上，不需要额外的定位框或实例分离，所提议的方法在单尺度输入上具有比以前的基于框和无框模型更高的效率。

    Dec, 2020

  • PVUW Challenge 2023 比赛中的第三名解决方案：视频全景分割

    为应对在野外进行视频全景分割任务，我们提出了一种强大的综合视频全景分割解决方案，通过将视频全景分割任务视为分割目标查询任务，利用神经网络提取的视频特征来预测分割掩码，同时添加了视频语义分割和视频实例分割等额外任务进行联合训练，提高了解决方案的学习准确性和收敛速度，最终在 VIPSeg 数据集上获得了第三名的好成绩。

    Jun, 2023

  • SG-Net: 一阶段视频实例分割的空间粒度网络

    本文提出了一种新型的一阶空间粒度网络（SG-Net）来应对视频实例分割任务，相较于传统两步骤方法，其具有更加紧凑的构架以及更好的运行时间复杂度表现，同时在精度上也表现出了更好的性能。

    Mar, 2021

  • SwiftNet：实时视频物体分割

    本文提出了 SwiftNet，一种用于实时半监督视频对象分割（一次性 VOS）的方法，通过 Pixel-Adaptive Memory（PAM）巧妙地压缩了基于匹配的 VOS 中的时空冗余，以实现高精度和高速度。

    Feb, 2021

  • 2024 年 PVUW 挑战赛第二名解决方案：视频全景分割

    我们提出了一个强大的整合视频全景分割解决方案，该方案基于 DVIS ++ 框架生成初始掩模，然后添加了额外的图像语义分割模型以进一步提高语义类别的性能。最终，我们的方法在视频全景分割任务中取得了 56.36 和 57.12 的 VPQ 得分，分别在开发和测试阶段排名第二。

    Jun, 2024

  • 基于时空图神经网络的端到端视频实例分割

    本文提出了基于图神经网络（GNN）的视频目标实例分割方法，使用图中的节点表示实例特征来进行检测和分割，而使用表示实例关系的图中的边来进行跟踪，有效地传播和共享帧内外信息，同时优化检测、分割和跟踪三个问题，取得了优于现有方法的表现。

    Mar, 2022