视频对象分割的学习策略
本文介绍了一个基于大规模数据集的序列-序列网络,能够充分利用视频的长期时空信息进行分割,在 YouTube-VOS 测试集上取得了最佳结果,在 DAVIS 2016 上与现有最先进方法相比也有可比性。
Sep, 2018
此篇论文介绍了一个新的大型视频对象分割数据集(YouTube-VOS),目前是已知最大的数据集之一,其中包含 4,453 个 YouTube 视频剪辑和 94 个物体类别,并在此数据集上评估了几种现有的最先进的视频对象分割算法,以建立未来新算法的基础。
Sep, 2018
该研究提出了一种新的视频对象分割方式,它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型,以预测出粗略但鲁棒的目标分割,然后将粗略的分数转化成高质量的分割掩模,该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验,其结果与现有技术相比具有更高的帧率和优异的性能。
Feb, 2020
本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战,包括短期记忆子网络和长期记忆子网络,通过图形学习框架提高局部区域间的可视一致性,在三个常用的数据集上取得了非常好的性能。
Mar, 2020
本研究通过使用深度卷积神经网络,基于较为便宜的边界框注释自动生成像素级别的伪标签;进而证明添加单个手工标注的掩模图像帧可以对训练视频目标分割(VOS)方法产生足够的影响,从而可以利用这些伪标签进行训练。我们将这种方法应用在 TAO 观察数据集,得到了一个挑战性的新的 TAO-VOS 基准数据集,为当前算法的不足揭示出明显的改进空间。
Nov, 2020
本文提出了一个简单而有效的解决方案,通过分析数据集分布、引入公共静态和视频分割数据集增补数据集,改进了三种不同特性的网络结构并训练多个网络去学习视频中物体的不同特性,通过简单的整合和精细的后处理确保精准的视频对象分割。在Youtube-VOS数据集上的广泛实验表明,该解决方案达到了86.1%的整体分数,是Youtube-VOS Challenge 2022中视频对象分割轨迹第五名的最新技术水平。
Jun, 2022
本文提出了一种新的视频对象分割训练范式-两张标记帧的视频对象分割,通过在训练期间生成伪标签并将其与已标记数据结合优化模型,我们仅需要稀疏注释就可以训练出令人满意的模型。通过使用YouTube-VOS和DAVIS基准测试的仅仅7.3%和2.9%标记数据,我们的方法取得了与全标记集训练的同行相当的结果。
Mar, 2023
EVA-VOS是一种视频目标分割的人机协作注释框架,通过引入代理模型进行逐帧帧选择和注释类型预测,可以实现高准确度且比传统视频注释方法快3.5倍的对象掩模生成与注释时间降低。
Nov, 2023
提出了一种基于稀疏点注释方案的新型Point-VOS任务和标注机制,通过基于伪掩码的训练可以使现有的VOS方法在性能上接近全监督的表现,并且该数据可用于改进视觉和语言相关的模型。
Feb, 2024
本论文提出了一种视频目标分割(VOS)的新的一次性训练框架,只需要一个标记的帧来训练,并适用于大多数最先进的VOS网络。通过双向训练,我们得到了一个令人满意的VOS网络,仅使用了YouTube-VOS和DAVIS数据集的一个标记的帧,达到了与完全标记的数据集训练的结果相当的效果。
May, 2024