CVPRApr, 2023

通过放松的共同命运和视觉分组从视频中引导物体性质

PDF
TL;DR本研究探讨了从无标签视频中学习物体分割的方法：首先从视觉共同命运与物体出现统计上进行特征学习，再基于视频内部和跨视频的外观分组进行细化，应用 ResNet 和卷积头只需无监督学习即可实现视频目标分割，相对于 DAVIS16 / STv2 / FBMS59 等基准上，绝对增益分别为 7/9/5％，展示了该方法的有效性，代码也已公开发表。
video object segmentationunsupervised learningimage featuresresnetstatistical figure-ground relevance
发现论文，激发创造
  • 物体性质的出现：从视频中学习零样本分割

    该研究通过对视频中连续的视觉观察进行分组和运动建模，并在不需要外部监督的情况下通过区域流来自动学习区域分割和流估计，实现了从视频中全新的零样本目标分割。

    Nov, 2021

  • LOCATE：基于流引导图割和自主引导自训练的自监督目标发现

    利用动态信息和外观信息，我们提出了一种自我监督的目标发现方法，该方法能够生成高质量的目标分割遮罩，并在多个基准测试中取得与现有方法相媲美甚至超越的结果。

    Aug, 2023

  • 通过观察物体运动学习特征

    本文介绍了一种基于无监督学习的视觉特征提取方法，采用运动分割技术自动从视频中得到图像分割信息进行卷积神经网络训练，结果在涉及少量目标训练样本的场景下显著优于现有无监督学习方法。

    Dec, 2016

  • 通过运动分组的自监督视频目标分割

    本研究介绍了一种基于运动线索的分割方法，使用 Transformer 网络结构，采用自我监督的方法进行训练，结果在公共基准测试中表现优异，证明在现有视频分割模型中，对于运动线索的重要性，以及对视觉外观存在潜在偏差的可能性。

    Apr, 2021

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 预测运动的非监督视频和图像分割

    本文提出一种融合基于运动和外观的分割方法，利用预测简单运动模式区域对图像分割网络进行监督，使其具备检测和学习静止物体的能力。通过实验发现该方法不仅在无监督视频分割领域表现出色，而且能够适用于包含新颖物体的静态图像分割领域，同时还能够处理多种运动模型和光流基准的影响。

    May, 2022

  • FusionSeg: 学习结合运动与外观以完全自动化地分割视频中通用对象

    本文提出一个结合了外观和动态信息的端到端学习框架，通过两流卷积神经网络，将动态和外观相结合，针对视频中的所有突出物体生成像素级别的分割掩码，并说明了如何通过弱注释视频的引导，以及与现有的图像识别数据集一起训练，提高了分割效果。

    Jan, 2017

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • DyStaB: 动静态自举无监督物体分割

    本文提出了一种无监督方法来检测和分割动态图像中的物体，通过深度神经网络将静态和动态模型进行训练，实现了物体的无监督分割和持续性学习。

    Aug, 2020

  • 光流提升无监督定位和分割

    无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。

    Jul, 2023