CVPRDec, 2019

利用掩膜传播对视频中的物体实例进行分类、分割和跟踪

PDF
TL;DRMaskProp 方法采用 Mask R-CNN 对视频中的物体实例进行同时分类、分割和跟踪，通过添加掩码传播分支来适应视频序列，并最终将产生的密集剪辑级实例跟踪汇总，以产生视频级物体实例分割和分类结果。
video instance segmentationmask r-cnnmaskpropobject trackingmotion blur
发现论文，激发创造
  • 使用空间传播网络在视频中学习实例分割

    本文提出了一种基于深度学习的实例级对象分割框架，其中包括使用 ResNet-101 进行前景 / 背景分割的通用模型训练，基于该通用模型接受带标注对象的训练数据，通过迭代学习实例级模型的方法以及使用空间传播网络和滤波器对分割结果进行进一步优化，以实现不同视频中的实例级对象分割。

    Sep, 2017

  • 通过联合重新识别和关注力感知掩模传播实现视频对象分割

    本研究提出了一种使用深度循环网络实现同时分割和追踪视频中物体的方法，结合了时间传播和重新识别模块，以及基于注意力的循环蒙版传播方法，取得了在 DAVIS 2017 基准测试（test-dev 集合）上最高的分割和边缘测量平均值（68.2），优于同一分区上获胜解决方案的全球平均值（66.1）

    Mar, 2018

  • 通过帧间关注力实现物体传播的时间稳定视频实例分割

    该论文提出了一种通过利用邻帧预测的空间信息并结合时间域中的帧间注意力机制来提高视频实体分割质量的方法，其在 YouTube-VIS 数据集上取得 36.0% 的 mAP，且该方法是完全在线的，不需要使用未来的视频帧。

    Nov, 2021

  • 通过运动感知掩模传播进行自监督的视频对象分割

    本文提出了一种基于自监督学习的时空匹配方法，称为 Motion-Aware Mask Propagation（MAMP），用于视频对象分割，利用帧重建任务进行训练，而无需进行标注，在 DAVIS-2017 和 YouTube-VOS 数据集上得到了最先进的性能。

    Jul, 2021

  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019

  • 用于高效视频语义分割的蒙版传播

    视频语义分割（VSS）通过为视频序列中的每个像素分配语义标签来完成。本文提出了一种名为 MPVSS 的高效掩码传播框架，通过利用学习到的查询生成一组与关键帧的掩码预测相关的面向片段的流图，并将这些掩码 - 流对变换为非关键帧的掩码预测，从而在保证精度的同时大幅降低计算成本。经过 VSPW 和 Cityscapes 等数据集的大量实验证明，我们的框架在准确性和效率方面取得了 SOTA 水平的折衷，最佳模型在 VSPW 数据集上使用 Swin-L 骨干网络相比于 SOTA MRCFA（使用 MiT-B5）的 mIoU 提高了 4.0%，只需要 26% 的 FLOPs。此外，与单帧 Mask2Former 基线相比，我们的框架在 Cityscapes 验证集上降低了高达 4 倍的 FLOPs，仅引起 2% 的 mIoU 降低。

    Oct, 2023

  • 对象查询传播在高性能视频对象检测中的应用

    本篇论文提出了一种名为 QueryProp 的视频物体检测特征传播框架，通过对象级特征传播策略和自适应传播门进行关键帧选择，实现了高准确率和高速度的检测。

    Jul, 2022

  • 视频目标分割的快速像素匹配

    本文提出了一种名为 NPMCA-net 的模型，它结合了 mask-propagation 和非局部技术，直接定位前景物体，既能处理大的物体外观变化，也能更好地适应遮挡，实验结果表明，该方法在速度和性能方面都达到了新的最高水平。

    Jul, 2021

  • MaskRNN：实例级视频对象分割

    本文提出了一种名为 MaskRNN 的递归神经网络方法，它在每帧中利用两个深度成像网络输出（二元分割网络和定位网络）进行目标实例的视频对象分割以获取长时序结构和剔除异常值，结果在 DAVIS-2016、DAVIS-2017 和 Segtrack v2 数据集中均达到了最优表现。

    Mar, 2018

  • 在视频数据中传播语义标签

    通过结合基于 SfM 的 SAM 模型将视频中的目标进行分割和跟踪的方法，提出一种减少手动注释工作量的视频对象跟踪系统。系统性能经过计算时间、与手动标签的掩码 IOU 和跟踪损失数量等三个指标的评估，结果表明该系统在跟踪视频帧中的物体方面较人工表现有显著计算时间改善，但在性能上存在一定程度的退化。

    Oct, 2023