在视频目标分割领域，尤其是对象被遮挡和分割成部分的复杂场景中，追踪和分割多个对象一直是一项挑战。本研究提出了一种基于语义嵌入的视频目标分割模型，使用对象的显著特征作为查询表征，通过语义理解帮助模型识别对象的部分，并捕捉对象更具辨识性的特征。在大规模视频目标分割数据集上进行训练，我们的模型在 2024 年 PVUW Challenge 复杂视频目标分割赛道的测试集中取得第一名（84.45%）。

Jun, 2024

该研究论文详细介绍了我们在 PVUW'24 VPS 挑战中获得第一名的研究工作，以及在 PVUW'24 VSS 挑战中获得第三名的研究工作，该方案基于 DINOv2 ViT-g 视觉转换模型和多阶段分离的视频实例分割 (DVIS) 框架。

Jun, 2024

我们在 MOSE 轨道的 PVUW 2024 比赛中排名第二，并采用实例分割、运动模糊、测试时间增强和记忆策略等方法来提高视频对象分割的准确性。

Jun, 2024

视频目标分割是计算机视觉中的重要任务，研究了切割模型的灵感、对象记忆、内存帧总数和输入分辨率对分割性能的影响，并在复杂视频目标分割（MOSE）数据集上验证了我们方法的有效性，实验结果表明在测试集上达到了 0.8139 的 J&F 得分，在处理具有挑战性的 VOS 场景中具有强大的鲁棒性和准确性。

Jun, 2024

基于 RVOS 方法，我们利用从视频实例分割模型获取的掩膜信息作为临时信息进行时间增强，并采用 SAM 进行空间细化，最终在验证阶段取得了 49.92 J &F 的得分，在测试阶段取得了 54.20 J &F 的得分，在 2024 CVPR PVUW 挑战赛的 MeViS 轨道中获得了第 2 名的最终排名。

Jun, 2024

运动表达引导的视频分割是新兴领域，对引用的视频对象分割 (RVOS) 提出了许多新的挑战。本技术报告调查和验证了静态主导数据和帧采样对这一具有挑战性的任务的有效性。我们的解决方案在比赛阶段达到了 0.5447 的 J&F 得分，在 PVUW Challenge 的 MeViS 赛道中排名第一。代码可以在此 https 链接上找到。

Jun, 2024

通过采用基于不可靠伪标签的半监督视频语义分割方法，并使用教师网络模型和学生网络模型进行集成，本文在视频场景解析中取得了较高的 mIoU 分数，并在 CVPR 2024 的 Video Scene Parsing in the Wild Challenge 中获得了第一名。

Jun, 2024

提出了一种使用预训练的视觉 - 语言模型作为骨干网络的方法，着重于增强跨模态特征交互，在视频目标分割中取得了显著的改进效果。

Jun, 2024

我们提出了基于现有模型的基于蒙版视频一致性 (MVC) 的解决方案，通过在预测过程中强制保持遮挡帧之间的一致性来学习蒙版部分的分割结果和视频的前后帧之间的关系，同时采用测试时增强、模型聚合和多模态模型后处理方法，该方法在 VSPW 数据集上获得了 67.27％的 mIoU 性能，在 PVUW2024 挑战 VSS 跟踪中排名第 2。

Jun, 2024

本研究旨在使用运动表达引导的视频分割，通过在描述对象运动的句子上对视频内容中的对象进行分割。我们提出了一个名为 MeViS 的大规模数据集，其中包含了大量的运动表达，用于指示复杂环境中的目标对象。通过对 MeViS 数据集进行 5 种现有的参考视频对象分割方法进行基准测试和全面比较，结果表明目前的方法不能有效地处理运动表达引导的视频分割。我们进一步分析了所面临的挑战，并在 MeViS 数据集上提出了一个基准方法。我们的目标是提供一个平台，以便开发对复杂视频场景中的对象分割利用运动表达作为主要线索的有效语言引导视频分割算法。MeViS 数据集已在此 URL 发布。

Aug, 2023