CVPRMar, 2023

自监督视频分割的统一掩模嵌入和对应关系学习

PDF
TL;DR通过开发一个统一的框架，其中同时建模跨帧密集对应以进行本地区分特征学习并嵌入对象级上下文进行目标掩码解码，从而使得能够直接从未标记的视频中学习执行基于掩码的连续分割，而不是依赖于基于像素的关联的廉价 “复制” 标签的非直接方法。
self-supervised learningvideo object segmentationdense correspondencemask encoding and decodingunsupervised correspondence learning
发现论文，激发创造
  • 视频的自监督目标中心学习

    本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

    Oct, 2023

  • 通过时空对应学习提升视频物体分割

    本研究提出了一种基于对空间 - 时间对应匹配的显式监督学习的视频物体分割方法，该方法可以在不增加额外训练成本、没有速度延迟和不需要架构修改的情况下提高目前最先进的匹配式 VOS 方法的性能。

    Apr, 2023

  • 视频分割的密集无监督学习

    本研究提出了一种新的无监督学习方法，其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案，该方法能够提高分割精度并达到快速的训练收敛。最终，该方法在标准的视频对象分割基准测试中取得了较高的精度。

    Nov, 2021

  • 视频对象分割的一次性训练

    本论文提出了一种视频目标分割 (VOS) 的新的一次性训练框架，只需要一个标记的帧来训练，并适用于大多数最先进的 VOS 网络。通过双向训练，我们得到了一个令人满意的 VOS 网络，仅使用了 YouTube-VOS 和 DAVIS 数据集的一个标记的帧，达到了与完全标记的数据集训练的结果相当的效果。

    May, 2024

  • 从未标注的视频中学习视频对象分割

    提出了一种利用无标注视频进行物体模式学习的视频对象分割新方法，通过引入统一的无监督 / 弱监督学习框架，可以全面捕捉 VOS 的内在特性，在不同的 VOS 设置中表现出有希望的性能并显著减少标注负担。

    Mar, 2020

  • 自监督学习的视频对应流

    本文提出了一种适用于匹配视频中对应点的特征嵌入的自监督学习方法，其中使用自然的时空一致性训练指针模型，并通过引入信息瓶颈和循环模型等方式来解决跟踪器漂移等挑战，最终取得了在视频分割和关键点跟踪上的最佳效果。

    May, 2019

  • 语义引导的视频对象分割

    本研究探讨了如何通过引入语义先验来指导外观模型，从而解决半监督视频对象分割的问题，并提出了半监督视频对象分割（SGV）方法，该方法能够在每帧半秒钟的时间内，在两个不同的数据集上使用各种评估指标，比以前的最新技术取得更好的结果。

    Apr, 2017

  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019

  • 视频对象分割的学习策略

    该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

    Mar, 2020

  • 无监督视频目标分割中的实例嵌入迁移

    提出一种用于无监督视频目标分割的方法，通过转移图像实例嵌入网络中封装的知识。通过将实例嵌入与物体性和光流特征相结合，无需模型重新训练或在线微调，即可将物体链接起来。该方法在 DAVIS 数据集和 FBMS 数据集上优于最先进的无监督分割方法。

    Jan, 2018