本文介绍了一种将 “tracking-by-detection” 引入视频对象分割的方法,通过提出一种新的时间聚合网络和新的动态时间演进模板匹配机制,成功将分割与跟踪相一致,并在 DAVIS 基准测试中取得了新的最优表现。
Jul, 2020
这篇论文提出了一种在线学习技术与匹配传播相结合的 Ranking Attention Network 方法,以端到端的方式学习像素级的相似度和分割,并使用新颖的排序注意力模块自动排名和选择这些映射,从而显著提高了半监督视频对象分割的准确性和速度。
Aug, 2019
该研究提出了一种新的视频对象分割方式,它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型,以预测出粗略但鲁棒的目标分割,然后将粗略的分数转化成高质量的分割掩模,该模式具有快速、易于训练、在有限的训练数据情况下仍然高效等优点。在挑战性的 YouTube-VOS 和 DAVIS 数据集上进行了广泛实验,其结果与现有技术相比具有更高的帧率和优异的性能。
Feb, 2020
本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战,包括短期记忆子网络和长期记忆子网络,通过图形学习框架提高局部区域间的可视一致性,在三个常用的数据集上取得了非常好的性能。
Mar, 2020
本文提出了一种名为 SpVOS 的 VOS 稀疏基线方法,通过开发一种新颖的三元稀疏卷积来减少整体 VOS 框架的计算成本,并结合稀疏训练策略对 VOS 分割性能和计算成本进行平衡,实验结果表明 SpVOS 在资源受限场景下具有应用潜力。
Oct, 2023
本文介绍了一种半监督视频目标分割方法,它使用了基于一阶段学习的预训练神经网络,结合在线训练和预训练步骤,显著提高了在 DAVIS 数据集上的分割性能。
Jun, 2017
最近,视频对象分割(VOS)网络通常使用基于记忆的方法:对于每个查询帧,通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能,但存在两个问题:1)具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2)像素级匹配会由噪音或干扰引起不希望的不匹配。为解决上述问题,我们首先提出在相邻帧之间生成一个辅助帧,作为查询帧的隐式短时间参考。随后,我们为每个视频对象学习一个原型,并在查询帧和记忆帧之间实施原型级匹配。实验证明,在 DAVIS 2017 上我们的网络优于最先进的方法,达到了 86.4% 的 J&F 分数,并且在 YouTube VOS 2018 上获得了 85.0% 的竞争结果。此外,我们的网络的推理速度为 32+ FPS。
May, 2024
该研究提出 REMN,一种稳健高效的记忆网络,用于半监督视频物体分割,通过引入本地注意机制和动态记忆库,解决了非局部匹配和高时间冗余的问题,实验表明 REMN 在 DAVIS 2017 和 YouTube-VOS 2018 上均取得最新的成果,具有较高的推理速度和相对较少的计算资源。
Apr, 2023
本文提出了一种基于模板匹配和时域一致性损失的半监督视频对象分割模型,以减少复杂性并加快推理时间,既提高了目标对象的定位,又能够处理细节,并通过新的自适应模板注意模块处理对象形状变化。该模型在 DAVIS16 基准上获得了 79.5% 的 J&F 分数,速度为 73.8 FPS。
Nov, 2020
本文提出一种基于神经网络的半监督视频目标分割技术,能够在保证处理速度的前提下提升目标分割的效果。
Nov, 2016