Aug, 2024

UNINEXT-Cutie: LSVOS挑战RVOS轨道的首个解决方案

HTML
PDF
TL;DR本研究解决了参考视频物体分割（RVOS）中，由于MeViS数据集引入的动态描述所带来的挑战。论文提出了一种集成先进RVOS与VOS模型的有效pipeline，通过对状态-of-the-art RVOS模型的微调和半监督学习的应用，显著提高了掩膜结果的质量及时间一致性。本解决方案在MeViS测试集上取得了62.57 J
发现论文，激发创造
  • RVOS：端到端的循环神经网络用于视频对象分割

    该研究提出了一种基于循环神经网络的视频多目标分割模型，实现了零样本学习和时间上的目标连贯性，此模型在DAVIS-2017和YouTube-VOS基准测试上取得了优异的表现，并且其推理时间比现有方法更快。

    Mar, 2019

  • 长短文本联合预测网络：应用于指代视频目标分割

    本文提出了一种基于短文本表达的参考视频对象分割方法，结合长短文本表达进行联合预测，并引入了一种前向-后向视觉一致性损失，实现了在A2D-Sentences和JHMDB-Sentences数据集上表现出的显著性改进。

    Jun, 2023

  • 从弱监督的注释中学习视频物体指代分割

    基于一种新的注释方案，我们提出了一种弱监督的方法，通过语言引导的动态过滤器和双层对比学习方法，实现了在不要求密集标注的情况下取得了有竞争力的性能。

    Aug, 2023

  • 第一名解决方案：第五届LSVOS挑战赛 - 视频对象引用分割

    通过将RVOS模型与Two-Stage Multi-Model Fusion策略结合，提出了一种有效的模式，该模式在Ref-Youtube-VOS验证集上实现了75.7%的J&F， 在测试集上实现了70%的J&F，在第5届大规模视频对象分割挑战（ICCV 2023）的第3组中排名第一。

    Jan, 2024

  • CVPR 2024 PVUW 工作坊 MeViS 赛道冠军解决方案: 运动表情引导的视频分割

    提出了一种使用预训练的视觉-语言模型作为骨干网络的方法，着重于增强跨模态特征交互，在视频目标分割中取得了显著的改进效果。

    Jun, 2024

  • 2024年CVPR PVUW Workshop MeViS赛道第二名方案：基于运动表情引导的视频分割

    基于RVOS方法，我们利用从视频实例分割模型获取的掩膜信息作为临时信息进行时间增强，并采用SAM进行空间细化，最终在验证阶段取得了49.92 J &F的得分，在测试阶段取得了54.20 J &F的得分，在2024 CVPR PVUW挑战赛的MeViS轨道中获得了第2名的最终排名。

    Jun, 2024

  • 针对LSVOS挑战中的RVOS赛道的基于实例的变换器：第三名解决方案

    本研究解决了参照视频物体分割任务中的对象分割问题，通过构建两种基于实例的模型，融合帧级和实例级的预测结果。创新性地引入实例掩码到基于DETR的模型中，并建立实例检索模型，提高了时间和空间精度，使得我们的模型在第六届LSVOS挑战中获得了RVOS赛道的第三名。

    Aug, 2024

  • LSVOS挑战第三名报告：基于SAM2和Cutie的视频目标分割

    本研究针对视频目标分割(VOS)中的对象遮挡、分裂及物体在拥挤场景中的追踪等挑战，提出了一种结合SAM2和Cutie模型的新方法。通过调试超参数，我们的方案在LSVOS挑战VOS赛道的测试阶段取得0.7952的J

    Aug, 2024

  • 第二届LSVOS挑战赛RVOS赛道的解决方案：空间-时间细化以实现一致的语义分割

    该研究解决了引用视频目标分割（RVOS）中的时间一致性问题，现有模型在长时间序列上存在感知不一致的缺陷。通过利用新引入的Segment Anything Model版本2（SAM-v2）的跟踪能力，本研究提出了一种新的方法，显著提高了引用对象分割模型的时间一致性，最终在ECCV 2024 LSVOS挑战赛RVOS赛道中获得第二名。

    Aug, 2024

  • LSVOS挑战报告：大规模复杂和长视频目标分割

    本研究解决了现有视频分割模型在复杂场景中表现不足的问题。我们引入了第六届大规模视频目标分割挑战，采用更具挑战性的MOSE、LVOS和MeViS数据集，评估视频对象分割（VOS）和指称视频对象分割（RVOS）。本次挑战吸引了来自20多个机构的129个团队参与，推动了视频目标分割技术的发展。

    Sep, 2024