Sep, 2023

无监督视频目标分割中以输出选择为选项处理动作

PDF
TL;DR无监督视频对象分割是一项旨在在没有关于对象的外部指导的情况下检测视频中最显著的对象的任务。为了充分利用显著对象通常与背景具有不同的运动特征的属性，最近的方法共同使用从光流图提取的运动线索与从 RGB 图像提取的外观线索。然而，由于光流图通常与分割掩码非常相关，网络在网络训练期间容易过度依赖运动线索。因此，这种两流方法容易受到混淆的运动线索的干扰，使其预测不稳定。为了缓解这个问题，我们设计了一种将运动线索视为可选的新型运动作为选项网络。在网络训练期间，随机提供 RGB 图像而不是光流图给运动编码器，以隐式降低网络的运动依赖性。由于学习到的运动编码器可以处理 RGB 图像和光流图，因此可以根据所使用的信息源的运动输入生成两种不同的预测。为了充分利用这个特性，我们还提出了一种自适应输出选择算法来在测试时采用最佳的预测结果。我们提出的方法在所有公共基准数据集上都具有最先进的性能，甚至保持了实时推理速度。
unsupervised video object segmentationsalient objectmotion cuesoptical flow mapsadaptive output selection
发现论文，激发创造
  • 通过对比运动聚类实现在线非监督视频物体分割

    本文提出了一种基于对比学习的无监督在线视频目标分割算法，利用光流作为输入，通过聚类的方式学习物体运动信息，并采用边界先验进行对比学习以提高特征鉴别度和分割精度，该算法在多个数据集上取得了超过现有方法的精度并在效率和准确性之间达到了良好的平衡。

    Jun, 2023

  • 预测运动的非监督视频和图像分割

    本文提出一种融合基于运动和外观的分割方法，利用预测简单运动模式区域对图像分割网络进行监督，使其具备检测和学习静止物体的能力。通过实验发现该方法不仅在无监督视频分割领域表现出色，而且能够适用于包含新颖物体的静态图像分割领域，同时还能够处理多种运动模型和光流基准的影响。

    May, 2022

  • 通过运动分组的自监督视频目标分割

    本研究介绍了一种基于运动线索的分割方法，使用 Transformer 网络结构，采用自我监督的方法进行训练，结果在公共基准测试中表现优异，证明在现有视频分割模型中，对于运动线索的重要性，以及对视觉外观存在潜在偏差的可能性。

    Apr, 2021

  • 运动分析的鲁棒视觉跟踪

    通过分析运动模式使用固有的张量结构进行片段分割和目标追踪，该算法在 LaSOT、AVisT、OTB100 和 GOT-10k 等基准测试中取得了有竞争力的结果，并能够实现实时操作。

    Sep, 2023

  • 利用运动特性实现的无监督在线视频目标分割

    本文提出了一种新的无监督在线视频目标分割框架，通过结合运动属性以便于分割出区分明显的移动部分，并利用显著性动态检测和物体提议等研究方法设计出像素级的融合策略，实现对在不同帧之间的目标传播和运动检测的稳健性处理，最终在多个基准数据集上实现了比先前算法更高的绝对增益。

    Oct, 2018

  • 利用动态显著性引导的时空传播进行无监督视频目标分割

    本文提出了基于光流和边缘线索的新型显着性估计技术和新型邻域图，用于解决快速运动，运动模糊和遮挡等视频分割的挑战，在 DAVIS，SegTrack v2 和 FBMS-59 数据集中取得了超越深度学习方法的最新成果。

    Sep, 2018

  • FODVid: 视频中的流引导物体发现

    我们在视频中对象的分割问题上提出了一种新的管道（FODVid），它基于使用流引导图割和时间一致性的思想来引导分割输出，通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型，我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果（在 mIoU 范围内相差约 2 个单位），我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。

    Jul, 2023

  • 大规模视频对象分割中的全局动作理解

    通过在动态视频的对象分割中集成场景全局运动知识，我们展示了从其他领域的视频理解中转移知识并结合大规模学习可以提高复杂环境下的鲁棒性。我们提出了一种半监督视频对象分割架构，利用运动理解中的现有知识进行更平滑的传播和更准确的匹配。同时，我们使用大规模的 MOSE 2023 数据集训练模型，该方法在各种复杂场景中展现了强大的性能。

    May, 2024

  • 视频分割的密集无监督学习

    本研究提出了一种新的无监督学习方法，其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案，该方法能够提高分割精度并达到快速的训练收敛。最终，该方法在标准的视频对象分割基准测试中取得了较高的精度。

    Nov, 2021

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017