利用动态显著性引导的时空传播进行无监督视频目标分割
本研究介绍了一种基于运动线索的分割方法,使用 Transformer 网络结构,采用自我监督的方法进行训练,结果在公共基准测试中表现优异,证明在现有视频分割模型中,对于运动线索的重要性,以及对视觉外观存在潜在偏差的可能性。
Apr, 2021
本论文提出了一种基于半监督学习的视频显著性目标检测方法,使用伪标签从稀疏注释帧中生成像素级伪标签,并结合部分手动注释,学习了空间和时间线索,进而产生准确的显著性图。实验结果表明,我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。
Aug, 2019
我们在视频中对象的分割问题上提出了一种新的管道(FODVid),它基于使用流引导图割和时间一致性的思想来引导分割输出,通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型,我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果(在 mIoU 范围内相差约 2 个单位),我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。
Jul, 2023
本文提出一种融合基于运动和外观的分割方法,利用预测简单运动模式区域对图像分割网络进行监督,使其具备检测和学习静止物体的能力。通过实验发现该方法不仅在无监督视频分割领域表现出色,而且能够适用于包含新颖物体的静态图像分割领域,同时还能够处理多种运动模型和光流基准的影响。
May, 2022
利用动态信息和外观信息,我们提出了一种自我监督的目标发现方法,该方法能够生成高质量的目标分割遮罩,并在多个基准测试中取得与现有方法相媲美甚至超越的结果。
Aug, 2023
本文提出了一种新的无监督在线视频目标分割框架,通过结合运动属性以便于分割出区分明显的移动部分,并利用显著性动态检测和物体提议等研究方法设计出像素级的融合策略,实现对在不同帧之间的目标传播和运动检测的稳健性处理,最终在多个基准数据集上实现了比先前算法更高的绝对增益。
Oct, 2018
本文提出了一种基于多任务学习的运动引导视频显著对象检测网络,并利用运动注意力算法引导静态图像检测子网络,实现对视频显著对象的准确检测。实验结果表明,该算法在多个基准测试数据集上的性能都显著优于现有的基于运动的视频显著对象检测算法。
Sep, 2019
无监督视频对象分割是一项旨在在没有关于对象的外部指导的情况下检测视频中最显著的对象的任务。为了充分利用显著对象通常与背景具有不同的运动特征的属性,最近的方法共同使用从光流图提取的运动线索与从 RGB 图像提取的外观线索。然而,由于光流图通常与分割掩码非常相关,网络在网络训练期间容易过度依赖运动线索。因此,这种两流方法容易受到混淆的运动线索的干扰,使其预测不稳定。为了缓解这个问题,我们设计了一种将运动线索视为可选的新型运动作为选项网络。在网络训练期间,随机提供 RGB 图像而不是光流图给运动编码器,以隐式降低网络的运动依赖性。由于学习到的运动编码器可以处理 RGB 图像和光流图,因此可以根据所使用的信息源的运动输入生成两种不同的预测。为了充分利用这个特性,我们还提出了一种自适应输出选择算法来在测试时采用最佳的预测结果。我们提出的方法在所有公共基准数据集上都具有最先进的性能,甚至保持了实时推理速度。
Sep, 2023
本文提出了一种基于视频显着性的关键实例选择方法,涵盖了对象性和动态特性,用于非监督式视频对象分割,在多个属性如 ReID 描述符,预期轨迹和语义共分割结果等方面考虑相似性度量,并基于视频显着性和出现频率选择关键 ID 进行跟踪。这些技术贡献使得我们在 UVOS DAVIS 挑战的排行榜上排名第三。
Jun, 2019