CVPRNov, 2021

通过帧间关注力实现物体传播的时间稳定视频实例分割

PDF
TL;DR该论文提出了一种通过利用邻帧预测的空间信息并结合时间域中的帧间注意力机制来提高视频实体分割质量的方法，其在 YouTube-VIS 数据集上取得 36.0% 的 mAP，且该方法是完全在线的，不需要使用未来的视频帧。
video instance segmentationtemporal consistencymissing detectionstemporal contextonline
发现论文，激发创造
  • 通过联合重新识别和关注力感知掩模传播实现视频对象分割

    本研究提出了一种使用深度循环网络实现同时分割和追踪视频中物体的方法，结合了时间传播和重新识别模块，以及基于注意力的循环蒙版传播方法，取得了在 DAVIS 2017 基准测试（test-dev 集合）上最高的分割和边缘测量平均值（68.2），优于同一分区上获胜解决方案的全球平均值（66.1）

    Mar, 2018

  • 混合实例感知时间融合在在线视频实例分割中的应用

    该论文提出了一种基于 transformer 的图像分割方法，利用一个新的实例感知的时间融合方法来处理视频序列中物体实例的时序关系，通过建立实例代码、CNN 特征图之间的混合注意力机制来实现跨帧的一致性建模，使得模型能够直接检测和跟踪视频序列中的物体实例。

    Dec, 2021

  • 具有时间掩码一致性的视频弱监督实例分割

    本研究展示了弱监督视频实例分割可以通过训练应用在视频层面上的算法来解决由于目标物体缺失而引起的问题，提出了两种方法用于处理这一问题。

    Mar, 2021

  • MaskRNN：实例级视频对象分割

    本文提出了一种名为 MaskRNN 的递归神经网络方法，它在每帧中利用两个深度成像网络输出（二元分割网络和定位网络）进行目标实例的视频对象分割以获取长时序结构和剔除异常值，结果在 DAVIS-2016、DAVIS-2017 和 Segtrack v2 数据集中均达到了最优表现。

    Mar, 2018

  • 利用掩膜传播对视频中的物体实例进行分类、分割和跟踪

    MaskProp 方法采用 Mask R-CNN 对视频中的物体实例进行同时分类、分割和跟踪，通过添加掩码传播分支来适应视频序列，并最终将产生的密集剪辑级实例跟踪汇总，以产生视频级物体实例分割和分类结果。

    Dec, 2019

  • 使用跟踪对象提案进行视频对象分割

    通过结合基于类别的目标检测、类别独立的目标外观分割和时间上的目标追踪等方法，通过训练全卷积网络对视频中的特定对象外观进行独立的分割，再引入对检测框时间上的连续性约束，从而实现半监督视频目标分割。

    Jul, 2017

  • 针对无监督视频多物体分割的目标感知对象发现和关联

    该研究提出了一种新颖的无监督视频多目标分割方法，通过结合前景区域估计和实例分组来提高实例判别，引入判别性外观模型用于目标跟踪，实现更准确的物体发现，以及采用自适应内存更新等三种策略提高分割准确性和推理速度，并在 DAVIS17 和 YouTube-VIS 数据集上超越了现有技术的表现。

    Apr, 2021

  • 使用空间传播网络在视频中学习实例分割

    本文提出了一种基于深度学习的实例级对象分割框架，其中包括使用 ResNet-101 进行前景 / 背景分割的通用模型训练，基于该通用模型接受带标注对象的训练数据，通过迭代学习实例级模型的方法以及使用空间传播网络和滤波器对分割结果进行进一步优化，以实现不同视频中的实例级对象分割。

    Sep, 2017

  • 有效的一阶段视频实例分割中的空间特征校准与时间融合

    我们提出了一个名为 STMask 的简单而有效的一阶段视频实例分割框架，通过空间校准和时间融合解决了现代一阶段视频实例分割网络的一些限制，它能够处理视频中的挑战性场景并具有很高的性能。

    Apr, 2021

  • RefineVIS: 带有时间注意力细化的视频实例分割

    介绍了一种名为 RefineVIS 的视频实例分割框架，该框架通过使用序列上下文反复改进表示来实现帧间的良好对象关联和精确的分割掩模。

    Jun, 2023