CVPRMar, 2021

在野外学习交互式视频对象分割的推荐框架

PDF
TL;DR本文提出了一种基于马尔可夫决策过程和深度强化学习框架的交互式视频物体分割方法，使得用户注释的最有价值的帧能够被自动推荐，从而在野外环境中实现了更实用的交互设置，实验结果也证明了本方法的有效性。
interactive video object segmentationuser annotationsmarkov decision processdeep reinforcement learningvos algorithms
发现论文，激发创造
  • 视频目标分割中注释的内容与方法学习

    EVA-VOS 是一种视频目标分割的人机协作注释框架，通过引入代理模型进行逐帧帧选择和注释类型预测，可以实现高准确度且比传统视频注释方法快 3.5 倍的对象掩模生成与注释时间降低。

    Nov, 2023

  • 视频对象分割的学习策略

    该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

    Mar, 2020

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 野外交互式视频对象分割

    本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。

    Dec, 2017

  • 从弱监督的注释中学习视频物体指代分割

    基于一种新的注释方案，我们提出了一种弱监督的方法，通过语言引导的动态过滤器和双层对比学习方法，实现了在不要求密集标注的情况下取得了有竞争力的性能。

    Aug, 2023

  • 通过迭代选择易于参考的帧使得无监督视频目标分割更容易

    该论文提出了一种名为 Easy Frame Selector 的新方法，其可以选择更好的参考帧以提高无监督视频物体分割（UVOS）表现。作者进一步提出了一种名为 Iterative Mask Prediction 的框架，在 Davis16，FBMS 和 SegTrack-V2 三个 UVOS 基准集上实现了最先进的表现

    Dec, 2021

  • 时空强化网络用于视频目标分割

    最近，视频对象分割（VOS）网络通常使用基于记忆的方法：对于每个查询帧，通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能，但存在两个问题：1）具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2）像素级匹配会由噪音或干扰引起不希望的不匹配。为解决上述问题，我们首先提出在相邻帧之间生成一个辅助帧，作为查询帧的隐式短时间参考。随后，我们为每个视频对象学习一个原型，并在查询帧和记忆帧之间实施原型级匹配。实验证明，在 DAVIS 2017 上我们的网络优于最先进的方法，达到了 86.4% 的 J&F 分数，并且在 YouTube VOS 2018 上获得了 85.0% 的竞争结果。此外，我们的网络的推理速度为 32+ FPS。

    May, 2024

  • 模块化交互式视频物体分割：交互到掩膜，传播和差异感知融合

    提出了一种基于交互的显著性目标分割框架 MiVOS，由交互模块和传播模块组成；其中交互模块实现用户交互和目标分割的转换，而传播模块则采用一种新颖的 top-k 过滤策略，结合时空记忆进行时序传播，并提出了一种差异感知模块以有效地将前后交互的掩模融合，最终在 DAVIS 数据集上取得了优异的表现。

    Mar, 2021

  • 学习视频目标分割的快速和稳健的目标模型

    该研究提出了一种新的视频对象分割方式，它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型，以预测出粗略但鲁棒的目标分割，然后将粗略的分数转化成高质量的分割掩模，该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验，其结果与现有技术相比具有更高的帧率和优异的性能。

    Feb, 2020

  • 跨帧探索交互式视频对象分割中的协同作用

    提出了一种多帧交互式视频对象分割的框架，该框架通过多帧交互模块实现用户在多个帧上自由标注不同对象，达到更好的用户体验和性能。

    Jan, 2024