Aug, 2024

针对LSVOS挑战中的RVOS赛道的基于实例的变换器：第三名解决方案

HTML
PDF
TL;DR本研究解决了参照视频物体分割任务中的对象分割问题，通过构建两种基于实例的模型，融合帧级和实例级的预测结果。创新性地引入实例掩码到基于DETR的模型中，并建立实例检索模型，提高了时间和空间精度，使得我们的模型在第六届LSVOS挑战中获得了RVOS赛道的第三名。
发现论文，激发创造
  • RVOS：端到端的循环神经网络用于视频对象分割

    该研究提出了一种基于循环神经网络的视频多目标分割模型，实现了零样本学习和时间上的目标连贯性，此模型在DAVIS-2017和YouTube-VOS基准测试上取得了优异的表现，并且其推理时间比现有方法更快。

    Mar, 2019

  • 基于Transformer的端到端视频实例分割

    VisTR是一种基于Transformers的视频实例分割框架，提出了一种新的实例序列匹配和分割策略实现对序列的监督，从相似性学习的角度框架实例分割和跟踪，大大简化了整个流程，并在YouTube-VIS数据集上取得了最佳结果和最高速度，这激励了未来更多的视频理解任务的研究。

    Nov, 2020

  • 多模态变换器的端到端指代视频对象分割

    本文提出了一种名为Multimodal Tracking Transformer（MTTR）的基于Transformer的方法来实现referring video object segmentation（RVOS）任务，该方法将视频和文本结合起来处理，不依赖于复杂的流水线，并且在标准基准测试中显著优于以前的方法。

    Nov, 2021

  • 开放式视频实例分割

    本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的MindVLT实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。

    Apr, 2023

  • 长短文本联合预测网络：应用于指代视频目标分割

    本文提出了一种基于短文本表达的参考视频对象分割方法，结合长短文本表达进行联合预测，并引入了一种前向-后向视觉一致性损失，实现了在A2D-Sentences和JHMDB-Sentences数据集上表现出的显著性改进。

    Jun, 2023

  • 学习跨模态关联性以用于有限样本的参照视频对象分割

    提出了一种基于Transformer架构的简单而有效的模型，该模型通过新设计的跨模态亲和力（CMA）模块在很少的样本上构建多模态亲和力，从而快速学习新的语义信息，并使模型可适应不同场景，为少样本的视频目标指代分割（FS-RVOS）问题提供了一种解决方案。在新建立的FS-RVOS基准上进行了广泛实验，结果显示我们的模型在只有少数样本的情况下能很好地适应不同场景，达到了基准上的最先进性能。

    Sep, 2023

  • 全程Transformer装备的端到端指代视频物体分割

    提出了一种基于transformers的完全建立在Referring Video Object Segmentation任务上的框架，通过学习mask序列解决视频中物体的分割问题，并通过Stacked Transformer来捕捉物体级别的空间上下文。

    Sep, 2023

  • 第一名解决方案：第五届LSVOS挑战赛 - 视频对象引用分割

    通过将RVOS模型与Two-Stage Multi-Model Fusion策略结合，提出了一种有效的模式，该模式在Ref-Youtube-VOS验证集上实现了75.7%的J&F， 在测试集上实现了70%的J&F，在第5届大规模视频对象分割挑战（ICCV 2023）的第3组中排名第一。

    Jan, 2024

  • UNINEXT-Cutie: LSVOS挑战RVOS轨道的首个解决方案

    本研究解决了参考视频物体分割（RVOS）中，由于MeViS数据集引入的动态描述所带来的挑战。论文提出了一种集成先进RVOS与VOS模型的有效pipeline，通过对状态-of-the-art RVOS模型的微调和半监督学习的应用，显著提高了掩膜结果的质量及时间一致性。本解决方案在MeViS测试集上取得了62.57 J

    Aug, 2024

  • 第二届LSVOS挑战赛RVOS赛道的解决方案：空间-时间细化以实现一致的语义分割

    该研究解决了引用视频目标分割（RVOS）中的时间一致性问题，现有模型在长时间序列上存在感知不一致的缺陷。通过利用新引入的Segment Anything Model版本2（SAM-v2）的跟踪能力，本研究提出了一种新的方法，显著提高了引用对象分割模型的时间一致性，最终在ECCV 2024 LSVOS挑战赛RVOS赛道中获得第二名。

    Aug, 2024