利用运动特性实现的无监督在线视频目标分割
该论文提出了一种用于视频中物体分割的方法,结合了帧级物体检测与物体跟踪、运动分割等概念,提取了基于现成检测器的时间一致性物体管,结合运动线索提供视频分割,克服了弱监督/无监督视频分割的典型问题,并提供每个对象的精确、时间一致的分割。
Aug, 2016
本研究提出了一种快速准确的视频目标分割算法,使用一个基于部件跟踪的方法来处理具有大变形、遮挡或杂乱背景的视频,生成部分掩模,最后采用基于相似性得分的函数来完善目标部分。实验结果表明,此算法可在DAVIS基准数据集上获得比其他算法更高的分割精度,并实现更快的运行时性能。
Jun, 2018
本文提出了基于光流和边缘线索的新型显着性估计技术和新型邻域图,用于解决快速运动,运动模糊和遮挡等视频分割的挑战,在DAVIS,SegTrack v2和FBMS-59数据集中取得了超越深度学习方法的最新成果。
Sep, 2018
本研究提出了一种新的无监督学习方法,其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案,该方法能够提高分割精度并达到快速的训练收敛。最终,该方法在标准的视频对象分割基准测试中取得了较高的精度。
Nov, 2021
本文提出了一种基于对比学习的无监督在线视频目标分割算法,利用光流作为输入,通过聚类的方式学习物体运动信息,并采用边界先验进行对比学习以提高特征鉴别度和分割精度,该算法在多个数据集上取得了超过现有方法的精度并在效率和准确性之间达到了良好的平衡。
Jun, 2023
无监督视频对象分割(VOS)旨在识别视频中主要前景对象的轮廓,但以往的方法没有充分利用时空上下文,并且无法在实时中处理这一具有挑战性的任务。因此,本文提出了一种高效的长短时序注意力网络(LSTA),从整体视角解决了无监督VOS任务。该网络由长时序记忆和短时序注意力两个主要模块组成,前者通过编码外观模式来捕获过去帧和当前帧的长期全局像素关系,后者通过编码动态模式来揭示附近帧和当前帧的短期局部像素关系。为了加快推理速度,采用了高效投影和基于局部性的滑动窗口,分别实现了两个轻量级模块的几乎线性时间复杂度。在几个基准测试中进行了大量实证研究,证明了所提方法具有高效的有希望的性能。
Sep, 2023
无监督视频对象分割是一项旨在在没有关于对象的外部指导的情况下检测视频中最显著的对象的任务。为了充分利用显著对象通常与背景具有不同的运动特征的属性,最近的方法共同使用从光流图提取的运动线索与从RGB图像提取的外观线索。然而,由于光流图通常与分割掩码非常相关,网络在网络训练期间容易过度依赖运动线索。因此,这种两流方法容易受到混淆的运动线索的干扰,使其预测不稳定。为了缓解这个问题,我们设计了一种将运动线索视为可选的新型运动作为选项网络。在网络训练期间,随机提供RGB图像而不是光流图给运动编码器,以隐式降低网络的运动依赖性。由于学习到的运动编码器可以处理RGB图像和光流图,因此可以根据所使用的信息源的运动输入生成两种不同的预测。为了充分利用这个特性,我们还提出了一种自适应输出选择算法来在测试时采用最佳的预测结果。我们提出的方法在所有公共基准数据集上都具有最先进的性能,甚至保持了实时推理速度。
Sep, 2023
提出了一种基于长期时空模型的运动分割方法,该方法通过处理光流场序列,以无监督学习的方式提供视频中一致运动的分段,为计算机视觉任务和无监督视频表示学习提供了先决条件。
Oct, 2023
通过生成伪光流来创建大规模训练数据,提出了一种新的数据生成方法,能够在所有公共基准数据集上取得新的最佳性能,无需依赖复杂模块,为未来的视频目标分割研究提供了一个潜在突破。
Jul, 2024