通过伪造流的生成改进无监督视频目标分割
本文提出了一种在视频中探测显著对象的方法,该方法利用局部和全局上下文,采用了一些新的特征以及方法来计算焦点,并在公开数据集上取得了显著的效果,同时也应用于视频实体分割任务中,表现出了优异的性能。
Aug, 2017
本文提出了基于光流和边缘线索的新型显着性估计技术和新型邻域图,用于解决快速运动,运动模糊和遮挡等视频分割的挑战,在DAVIS,SegTrack v2和FBMS-59数据集中取得了超越深度学习方法的最新成果。
Sep, 2018
此篇论文介绍了一个新的大型视频对象分割数据集(YouTube-VOS),目前是已知最大的数据集之一,其中包含 4,453 个 YouTube 视频剪辑和 94 个物体类别,并在此数据集上评估了几种现有的最先进的视频对象分割算法,以建立未来新算法的基础。
Sep, 2018
本文提出了一种新的无监督在线视频目标分割框架,通过结合运动属性以便于分割出区分明显的移动部分,并利用显著性动态检测和物体提议等研究方法设计出像素级的融合策略,实现对在不同帧之间的目标传播和运动检测的稳健性处理,最终在多个基准数据集上实现了比先前算法更高的绝对增益。
Oct, 2018
本研究提出了一种新的无监督学习方法,其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案,该方法能够提高分割精度并达到快速的训练收敛。最终,该方法在标准的视频对象分割基准测试中取得了较高的精度。
Nov, 2021
本文提出了一种编码器-解码器的分层协同传播网络(HCPN),通过多个协同演化并结合平行协同模块(PCM)和跨模态协同模块(CCM)来跟踪和分割前景物体,在公共基准测试中优于所有以前的方法,展示了其在零样本视频对象分割中的有效性。
Apr, 2023
无监督视频对象分割是一项旨在在没有关于对象的外部指导的情况下检测视频中最显著的对象的任务。为了充分利用显著对象通常与背景具有不同的运动特征的属性,最近的方法共同使用从光流图提取的运动线索与从RGB图像提取的外观线索。然而,由于光流图通常与分割掩码非常相关,网络在网络训练期间容易过度依赖运动线索。因此,这种两流方法容易受到混淆的运动线索的干扰,使其预测不稳定。为了缓解这个问题,我们设计了一种将运动线索视为可选的新型运动作为选项网络。在网络训练期间,随机提供RGB图像而不是光流图给运动编码器,以隐式降低网络的运动依赖性。由于学习到的运动编码器可以处理RGB图像和光流图,因此可以根据所使用的信息源的运动输入生成两种不同的预测。为了充分利用这个特性,我们还提出了一种自适应输出选择算法来在测试时采用最佳的预测结果。我们提出的方法在所有公共基准数据集上都具有最先进的性能,甚至保持了实时推理速度。
Sep, 2023
我们提出了一个简单而有效的方法来进行自监督视频对象分割(VOS)。我们的关键观点是,DINO预训练的Transformer中具有的固有结构依赖性可以用于建立视频中的稳健时空对应关系。此外,利用这种对应线索进行简单的聚类就足以产生具有竞争力的分割结果。我们开发了一个简化的架构来应对这些挑战,利用DINO预训练的Transformer中新兴的对象性,避免了使用额外的多模态或槽关注的需要。我们的方法在多个无监督VOS基准测试中展示了最先进的性能,特别在复杂的现实世界多对象视频分割任务中表现出色,如DAVIS-17-Unsupervised和YouTube-VIS-19。
Nov, 2023
本论文提出了一种视频目标分割(VOS)的新的一次性训练框架,只需要一个标记的帧来训练,并适用于大多数最先进的VOS网络。通过双向训练,我们得到了一个令人满意的VOS网络,仅使用了YouTube-VOS和DAVIS数据集的一个标记的帧,达到了与完全标记的数据集训练的结果相当的效果。
May, 2024