Jan, 2024

基于消失点引导的驾驶场景视频语义分割

PDF
TL;DR利用消失点先验知识的 VPSeg 模型在驾驶场景下进行视频语义分割，通过两个模块（DenseVP 和 MotionVP）利用静态和动态消失点先验知识，实现了更加有效的分割结果。这种模型在两个流行的驾驶分割基准数据集 Cityscapes 和 ACDC 上的实验证明了其在准确性方面的卓越表现，同时计算开销相对较小。
video semantic segmentationvanishing pointvp priorsvpsegdriving scenes
发现论文，激发创造
  • MCDS-VSS：基于自监督几何和运动滤波的移动相机动态场景视频语义分割

    我们提出了 MCDS-VSS，这是一种结构化滤波模型，通过自监督学习来估计场景几何和相机自运动，并估计外部物体的运动，从而提高语义分割的时间一致性。我们的模型将汽车场景解析为多个解耦的可解释表示，例如场景几何、自运动和物体运动，并在保持竞争性分割性能的同时实现了优越的时间一致性。

    May, 2024

  • GSVNet: 基于引导变空间卷积的快速视频语义分割

    该论文提出了一种简单而有效的传播框架，包括轻量级流估计和引导式空间变化卷积方法，实现了视频分割的最优准确度和吞吐量的平衡。

    Mar, 2021

  • Video-kMaX：一种简单的统一方法，用于在线和近线视频全景分割

    该研究提出了一种统一的方法来解决视频全景分割中线上和近线问题，并通过采用 clip-kMaX 和 HiLA-MB 等技术实现了此方法。该方法在 KITTI-STEP、VIPSeg 和 VSPW 等数据集上取得了最先进的成果，并将代码公开发布。

    Apr, 2023

  • 语义引导的视频对象分割

    本研究探讨了如何通过引入语义先验来指导外观模型，从而解决半监督视频对象分割的问题，并提出了半监督视频对象分割（SGV）方法，该方法能够在每帧半秒钟的时间内，在两个不同的数据集上使用各种评估指标，比以前的最新技术取得更好的结果。

    Apr, 2017

  • 用于高效视频语义分割的蒙版传播

    视频语义分割（VSS）通过为视频序列中的每个像素分配语义标签来完成。本文提出了一种名为 MPVSS 的高效掩码传播框架，通过利用学习到的查询生成一组与关键帧的掩码预测相关的面向片段的流图，并将这些掩码 - 流对变换为非关键帧的掩码预测，从而在保证精度的同时大幅降低计算成本。经过 VSPW 和 Cityscapes 等数据集的大量实验证明，我们的框架在准确性和效率方面取得了 SOTA 水平的折衷，最佳模型在 VSPW 数据集上使用 Swin-L 骨干网络相比于 SOTA MRCFA（使用 MiT-B5）的 mIoU 提高了 4.0%，只需要 26% 的 FLOPs。此外，与单帧 Mask2Former 基线相比，我们的框架在 Cityscapes 验证集上降低了高达 4 倍的 FLOPs，仅引起 2% 的 mIoU 降低。

    Oct, 2023

  • 2024 年 PVUW 挑战赛第二名解决方案：视频全景分割

    我们提出了一个强大的整合视频全景分割解决方案，该方案基于 DVIS ++ 框架生成初始掩模，然后添加了额外的图像语义分割模型以进一步提高语义类别的性能。最终，我们的方法在视频全景分割任务中取得了 56.36 和 57.12 的 VPQ 得分，分别在开发和测试阶段排名第二。

    Jun, 2024

  • 大规模视频对象分割中的全局动作理解

    通过在动态视频的对象分割中集成场景全局运动知识，我们展示了从其他领域的视频理解中转移知识并结合大规模学习可以提高复杂环境下的鲁棒性。我们提出了一种半监督视频对象分割架构，利用运动理解中的现有知识进行更平滑的传播和更准确的匹配。同时，我们使用大规模的 MOSE 2023 数据集训练模型，该方法在各种复杂场景中展现了强大的性能。

    May, 2024

  • 基于遮罩视频一致性的 VSPW 数据集语义分割

    我们提出了基于现有模型的基于蒙版视频一致性 (MVC) 的解决方案，通过在预测过程中强制保持遮挡帧之间的一致性来学习蒙版部分的分割结果和视频的前后帧之间的关系，同时采用测试时增强、模型聚合和多模态模型后处理方法，该方法在 VSPW 数据集上获得了 67.27％的 mIoU 性能，在 PVUW2024 挑战 VSS 跟踪中排名第 2。

    Jun, 2024

  • 改变压缩视频分辨率以高效进行语义分割

    本文提出了一种称为 AR-Seg 的改变分辨率框架，旨在通过使用低分辨率来减少非关键帧的计算成本，同时避免降采样引起的性能下降，CReFF 模块能够更好地进行空间对齐和聚合，FST 策略能够通过显式相似性损失和隐式约束提高分割准确性，CamVid 和 Cityscapes 等多个数据集上，AR-Seg 在不同分割骨干网的情况下实现了最先进的性能。

    Mar, 2023

  • Slot-VPS：视频全景分割的面向对象表示学习

    该论文提出了 Slot-VPS 框架，使用对象中心学习的方法，将所有视频中的 panoptic 实体编码成 panoptic slots，通过 Video Panoptic Retriever 来检索和编码统一的空间 - 时间信息，实现了对视频中对象的定位、分割、区分和关联，从而实现了 Video Panoptic Segmentation 任务的端到端处理。该方法在 Cityscapes-VPS 和 VIPER 数据集上均取得了 63.7，63.3，56.2 VPQ 的最优性能。

    Dec, 2021