利用深度学习的光流生成移动物体候选框进行视频物体分割
本文提出一种基于像素几何和物体运动模型的运动预测方法,通过将图像分为运动一致的区域并利用深度构建最佳匹配的流场基础来减少从单个图像重建流场的不确定性,并在场景结构和物体运动建模方面取得了最新的结果,同时对预测深度图的评估显示出可靠的单眼深度估计性能。
Jul, 2023
本文提出了一种端到端可训练网络 SegFlow,用于同时预测视频中逐像素对象分割和光流,并通过统一框架双向传播对象分割和光流的有用信息。实验证明,引入光流可提高分割性能,同时改善了最先进算法的结果。
Sep, 2017
本研究介绍了一种基于运动线索的分割方法,使用 Transformer 网络结构,采用自我监督的方法进行训练,结果在公共基准测试中表现优异,证明在现有视频分割模型中,对于运动线索的重要性,以及对视觉外观存在潜在偏差的可能性。
Apr, 2021
本研究提出了一种基于深度学习的模型,用于估计连续 RGB-D 图像之间的场景流,可以将场景分成多个刚体运动的对象,利用编码和解码阶段,得到了像素级目标中心、运动和旋转估计,并在大规模合成和真实数据集上测试了模型性能。
Apr, 2018
本文提出了一种基于卷积神经网络 (CNN) 的完全无监督的运动分割方法,借鉴了期望最大化算法 (EM) 框架用于设计不需要地面真值或手动标注的运动分割神经网络的损失函数和训练过程,能够通过单一推断步骤为任何看不见的光流场提供分割,并能有效地处理多个运动。
Jan, 2022
提出了一种基于对抗上下文模型的无监督学习方法,在使用深度神经网络预测图像中某个区域的光流时利用其他区域的上下文信息,并通过优化上下文信息使得变量之间自然地竞争而不需要显式的正则化或超参数调整,该方法能够在无需任何监督的情况下胜过多种预训练于大型标注数据集的方法,可看作是经典区域分割的广义推广。
Jan, 2019
本文提出一种融合基于运动和外观的分割方法,利用预测简单运动模式区域对图像分割网络进行监督,使其具备检测和学习静止物体的能力。通过实验发现该方法不仅在无监督视频分割领域表现出色,而且能够适用于包含新颖物体的静态图像分割领域,同时还能够处理多种运动模型和光流基准的影响。
May, 2022
通过在动态视频的对象分割中集成场景全局运动知识,我们展示了从其他领域的视频理解中转移知识并结合大规模学习可以提高复杂环境下的鲁棒性。我们提出了一种半监督视频对象分割架构,利用运动理解中的现有知识进行更平滑的传播和更准确的匹配。同时,我们使用大规模的 MOSE 2023 数据集训练模型,该方法在各种复杂场景中展现了强大的性能。
May, 2024