Jul, 2021

通过运动感知掩模传播进行自监督的视频对象分割

PDF
TL;DR本文提出了一种基于自监督学习的时空匹配方法，称为 Motion-Aware Mask Propagation（MAMP），用于视频对象分割，利用帧重建任务进行训练，而无需进行标注，在 DAVIS-2017 和 YouTube-VOS 数据集上得到了最先进的性能。
video object segmentationself-supervised learningmotion-aware mask propagationspatio-temporal matchingmemory bank
发现论文，激发创造
  • 用于高效视频语义分割的蒙版传播

    视频语义分割（VSS）通过为视频序列中的每个像素分配语义标签来完成。本文提出了一种名为 MPVSS 的高效掩码传播框架，通过利用学习到的查询生成一组与关键帧的掩码预测相关的面向片段的流图，并将这些掩码 - 流对变换为非关键帧的掩码预测，从而在保证精度的同时大幅降低计算成本。经过 VSPW 和 Cityscapes 等数据集的大量实验证明，我们的框架在准确性和效率方面取得了 SOTA 水平的折衷，最佳模型在 VSPW 数据集上使用 Swin-L 骨干网络相比于 SOTA MRCFA（使用 MiT-B5）的 mIoU 提高了 4.0%，只需要 26% 的 FLOPs。此外，与单帧 Mask2Former 基线相比，我们的框架在 Cityscapes 验证集上降低了高达 4 倍的 FLOPs，仅引起 2% 的 mIoU 降低。

    Oct, 2023

  • 面具化运动预测器是强大的三维动作表示学习器

    本文提出了一种用于 3D 动作识别的 Masked Motion Prediction（MAMP）框架，通过对蒙面的空间 - 时间骨骼序列进行预测，实现对丰富语义区域的更好关注，进而提高自监督预训练的性能。经过对 NTU-60、NTU-120 和 PKU-MMD 数据集的广泛实验，表明所提出的 MAMP 预训练方法显著提高了基础的 transformer 模型的性能，并取得了最先进的结果。MAMP 的源代码可以在给定的网址上找到。

    Aug, 2023

  • 通过联合重新识别和关注力感知掩模传播实现视频对象分割

    本研究提出了一种使用深度循环网络实现同时分割和追踪视频中物体的方法，结合了时间传播和重新识别模块，以及基于注意力的循环蒙版传播方法，取得了在 DAVIS 2017 基准测试（test-dev 集合）上最高的分割和边缘测量平均值（68.2），优于同一分区上获胜解决方案的全球平均值（66.1）

    Mar, 2018

  • 利用动态显著性引导的时空传播进行无监督视频目标分割

    本文提出了基于光流和边缘线索的新型显着性估计技术和新型邻域图，用于解决快速运动，运动模糊和遮挡等视频分割的挑战，在 DAVIS，SegTrack v2 和 FBMS-59 数据集中取得了超越深度学习方法的最新成果。

    Sep, 2018

  • 视频目标分割的快速像素匹配

    本文提出了一种名为 NPMCA-net 的模型，它结合了 mask-propagation 和非局部技术，直接定位前景物体，既能处理大的物体外观变化，也能更好地适应遮挡，实验结果表明，该方法在速度和性能方面都达到了新的最高水平。

    Jul, 2021

  • 利用掩膜传播对视频中的物体实例进行分类、分割和跟踪

    MaskProp 方法采用 Mask R-CNN 对视频中的物体实例进行同时分类、分割和跟踪，通过添加掩码传播分支来适应视频序列，并最终将产生的密集剪辑级实例跟踪汇总，以产生视频级物体实例分割和分类结果。

    Dec, 2019

  • 自监督视频分割的统一掩模嵌入和对应关系学习

    通过开发一个统一的框架，其中同时建模跨帧密集对应以进行本地区分特征学习并嵌入对象级上下文进行目标掩码解码，从而使得能够直接从未标记的视频中学习执行基于掩码的连续分割，而不是依赖于基于像素的关联的廉价 “复制” 标签的非直接方法。

    Mar, 2023

  • 在视频数据中传播语义标签

    通过结合基于 SfM 的 SAM 模型将视频中的目标进行分割和跟踪的方法，提出一种减少手动注释工作量的视频对象跟踪系统。系统性能经过计算时间、与手动标签的掩码 IOU 和跟踪损失数量等三个指标的评估，结果表明该系统在跟踪视频帧中的物体方面较人工表现有显著计算时间改善，但在性能上存在一定程度的退化。

    Oct, 2023

  • 模块化交互式视频物体分割：交互到掩膜，传播和差异感知融合

    提出了一种基于交互的显著性目标分割框架 MiVOS，由交互模块和传播模块组成；其中交互模块实现用户交互和目标分割的转换，而传播模块则采用一种新颖的 top-k 过滤策略，结合时空记忆进行时序传播，并提出了一种差异感知模块以有效地将前后交互的掩模融合，最终在 DAVIS 数据集上取得了优异的表现。

    Mar, 2021

  • MHP-VOS：视频目标分割的多假设传播

    本文提出一种新方法来解决半监督视频对象分割问题，采用基于 Multiple Hypotheses Tracking 的 Bounding Box 假设来跟踪视频中的目标物体，并通过基于运动模型的门控策略来产生多个假设，最后采用自定义的算法来处理目标缺失和掩膜冲突等问题，通过大量的测试证明本方法具有良好的效果。

    Apr, 2019