CVPRApr, 2019

MHP-VOS：视频目标分割的多假设传播

PDF
TL;DR本文提出一种新方法来解决半监督视频对象分割问题，采用基于 Multiple Hypotheses Tracking 的 Bounding Box 假设来跟踪视频中的目标物体，并通过基于运动模型的门控策略来产生多个假设，最后采用自定义的算法来处理目标缺失和掩膜冲突等问题，通过大量的测试证明本方法具有良好的效果。
semi-supervised video object segmentationmultiple hypotheses trackingmask propagation scoremask merging strategyobject missing
发现论文，激发创造
  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019

  • 视频物体分割的提议生成、精化和合并

    我们提出了一种名为 PReMVOS 的半监督视频对象分割算法，它将问题分为生成准确的对象分割掩码提案和选择和合并这些提案成为准确且时间上连续的像素级对象轨迹，并在同时处理跨视频序列分割多个对象的困难问题方面取得了最先进的结果。

    Jul, 2018

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 用于高效视频语义分割的蒙版传播

    视频语义分割（VSS）通过为视频序列中的每个像素分配语义标签来完成。本文提出了一种名为 MPVSS 的高效掩码传播框架，通过利用学习到的查询生成一组与关键帧的掩码预测相关的面向片段的流图，并将这些掩码 - 流对变换为非关键帧的掩码预测，从而在保证精度的同时大幅降低计算成本。经过 VSPW 和 Cityscapes 等数据集的大量实验证明，我们的框架在准确性和效率方面取得了 SOTA 水平的折衷，最佳模型在 VSPW 数据集上使用 Swin-L 骨干网络相比于 SOTA MRCFA（使用 MiT-B5）的 mIoU 提高了 4.0%，只需要 26% 的 FLOPs。此外，与单帧 Mask2Former 基线相比，我们的框架在 Cityscapes 验证集上降低了高达 4 倍的 FLOPs，仅引起 2% 的 mIoU 降低。

    Oct, 2023

  • 单次视频目标分割

    本文提出一种基于神经网络的半监督视频目标分割技术，能够在保证处理速度的前提下提升目标分割的效果。

    Nov, 2016

  • 基于协同注意力传播网络的零样本视频目标分割

    本文提出了一种编码器 - 解码器的分层协同传播网络（HCPN），通过多个协同演化并结合平行协同模块（PCM）和跨模态协同模块（CCM）来跟踪和分割前景物体，在公共基准测试中优于所有以前的方法，展示了其在零样本视频对象分割中的有效性。

    Apr, 2023

  • CVPR 2024 PVUW 复杂视频对象分割 MOSE 赛道第三名解决方案

    视频目标分割是计算机视觉中的重要任务，研究了切割模型的灵感、对象记忆、内存帧总数和输入分辨率对分割性能的影响，并在复杂视频目标分割（MOSE）数据集上验证了我们方法的有效性，实验结果表明在测试集上达到了 0.8139 的 J&F 得分，在处理具有挑战性的 VOS 场景中具有强大的鲁棒性和准确性。

    Jun, 2024

  • 模块化交互式视频物体分割：交互到掩膜，传播和差异感知融合

    提出了一种基于交互的显著性目标分割框架 MiVOS，由交互模块和传播模块组成；其中交互模块实现用户交互和目标分割的转换，而传播模块则采用一种新颖的 top-k 过滤策略，结合时空记忆进行时序传播，并提出了一种差异感知模块以有效地将前后交互的掩模融合，最终在 DAVIS 数据集上取得了优异的表现。

    Mar, 2021

  • BoLTVOS: 视频对象分割的基于边框的跟踪

    本文提出了一种从边界框级别追踪开始的视频对象分割方法，该方法包括一个基于 R-CNN 的检测器、一个时间一致性重新评分算法，以及将边界框转换为分割掩模的 Box2Seg 网络。在 DAVIS 2017 和 YouTube-VOS 数据集上的实验表明，该方法优于所有未进行第一帧微调的方法。此外，该方法还得到了优化，可在不增加运行时间的情况下学习跟踪过程中对象的分割，且运行速度比先前最好的 VOS 方法快达 45 倍。

    Apr, 2019

  • 视频目标分割中的分层传播特征解耦

    研究论文提出了一种新的分层传播方法 DeAOT，它通过在两个独立分支中处理目标通用嵌入和目标特定嵌入，同时采用门控传播模块来构建分层传播，从而显著提高了视频物体分割的准确性和效率。

    Oct, 2022