CLVOS23: 用于连续学习的长视频对象分割数据集
提出两种方法以减少在线视频对象分割方法的内存需求,同时提高建模准确性和推广性,并实验结果表明这些方法可以提高在线视频对象分割模型的性能,增强其在长视频数据集上的鲁棒性。
Sep, 2023
视频对象分割(VOS)旨在在视频中区分和跟踪目标对象。我们提出了一个名为 LVOS 的新基准,比现有的数据集包含长 5 倍的视频,以更好地反映 VOS 模型在实际场景中的性能。在 LVOS 中,我们评估了 20 个现有的 VOS 模型,并发现这些模型在真实场景中遇到了较大的性能下降,突出了在实际世界场景中实现精确跟踪和分割的挑战。
Apr, 2024
本文介绍了一个基于大规模数据集的序列 - 序列网络,能够充分利用视频的长期时空信息进行分割,在 YouTube-VOS 测试集上取得了最佳结果,在 DAVIS 2016 上与现有最先进方法相比也有可比性。
Sep, 2018
此篇论文介绍了一个新的大型视频对象分割数据集(YouTube-VOS),目前是已知最大的数据集之一,其中包含 4,453 个 YouTube 视频剪辑和 94 个物体类别,并在此数据集上评估了几种现有的最先进的视频对象分割算法,以建立未来新算法的基础。
Sep, 2018
该研究提出了一种新的、自动化的视频物体分割方法,通过集成一种可区分的少量样本学习模块,提高了分割精度,实现了当前 YouTube-VOS 2018 数据集的最新最佳分数,并使相对改进率达到了 2.6%以上。
Mar, 2020
本研究提出了一种新的无监督学习方法,其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案,该方法能够提高分割精度并达到快速的训练收敛。最终,该方法在标准的视频对象分割基准测试中取得了较高的精度。
Nov, 2021
本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战,包括短期记忆子网络和长期记忆子网络,通过图形学习框架提高局部区域间的可视一致性,在三个常用的数据集上取得了非常好的性能。
Mar, 2020
本文提出了一个简单而有效的解决方案,通过分析数据集分布、引入公共静态和视频分割数据集增补数据集,改进了三种不同特性的网络结构并训练多个网络去学习视频中物体的不同特性,通过简单的整合和精细的后处理确保精准的视频对象分割。在 Youtube-VOS 数据集上的广泛实验表明,该解决方案达到了 86.1% 的整体分数,是 Youtube-VOS Challenge 2022 中视频对象分割轨迹第五名的最新技术水平。
Jun, 2022
视频目标分割是计算机视觉中的重要任务,研究了切割模型的灵感、对象记忆、内存帧总数和输入分辨率对分割性能的影响,并在复杂视频目标分割(MOSE)数据集上验证了我们方法的有效性,实验结果表明在测试集上达到了 0.8139 的 J&F 得分,在处理具有挑战性的 VOS 场景中具有强大的鲁棒性和准确性。
Jun, 2024
本研究提出了第一个专门用于评估在各种视频文本任务中持续学习模型的基准数据集 ViLCo-Bench,并引入了一种新颖的内存高效框架,该框架结合了自监督学习,模拟长期和短期记忆效应,在面对长视频片段的内存复杂性、开放式查询的自然语言复杂性以及文本 - 视频不匹配等挑战时表现出色。
Jun, 2024