Feb, 2022

视频实例分割的时空对比学习

PDF
TL;DR本文提出了一种基于 CondInst 方法和单阶段的跟踪头的简单高效的视频实例分割框架，利用新颖的双向时空对比学习策略和实例级别的时间一致性方案来提高实例关联性准确性，在 YouTube-VIS-2019，YouTube-VIS-2021 和 OVIS-2021 数据集上验证了该方法的有效性和效率。
video instance segmentationcondinstspatio-temporal contrastive learningtracking headtemporal consistency scheme
发现论文，激发创造
  • CTVIS：在线视频实例分割的一致训练

    在线视频实例分割的一项研究提出了一种名为 CTVIS 的训练策略，通过构建对比项和加入噪声来增强实例嵌入的区分度，从而解决了遮挡、重新识别和形变等实例分割挑战，并在三个 VIS 基准测试中超过了其他方法。

    Jul, 2023

  • TCOVIS：时序一致性在线视频实例分割

    该研究提出了一种名为 TCOVIS 的在线视频实例分割方法，利用视频剪辑中的时空信息，通过全局实例分配策略和时空增强模块改善特征的时序一致性，并在多个基准测试中取得了最好的性能。

    Sep, 2023

  • RefineVIS: 带有时间注意力细化的视频实例分割

    介绍了一种名为 RefineVIS 的视频实例分割框架，该框架通过使用序列上下文反复改进表示来实现帧间的良好对象关联和精确的分割掩模。

    Jun, 2023

  • 通过轨迹查询和建议实现高效的视频实例分割

    EfficientVIS 是一种全新的视频实例分割框架，实现了完全的端到端学习，采用了轨迹查询和轨迹建议技术，通过迭代式的查询 - 视频交互方法在空间和时间上关联和分割 RoIs，采用了对应关系学习，不需要手工数据关联即可一次性实现整个视频实例分割，训练时间显著减少并在 YouTube-VIS 基准测试上达到了最先进的准确率。

    Mar, 2022

  • 开放式视频实例分割

    本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的 MindVLT 实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。

    Apr, 2023

  • 视频实例分割中的点监督价值是多少？

    通过减少视频帧中的人工注释点为每个对象，我们提出了一种训练方法来获得接近完全监督模型的高质量掩码预测，在三个视频示例分割基准上展示了该框架的竞争性性能。

    Apr, 2024

  • DVIS: 解耦的视频实例分割框架

    提出一种分离策略，并应用于视频实例分割任务，包括分割、跟踪和细化，使用引用跟踪器和时间细化器构建 Decoupled VIS 框架 (DVIS)，并在 OVIS 和 VIPSeg 数据集上取得了新的 SOTA 表现。

    Jun, 2023

  • 视频实例分割

    本论文提出了一个新的计算机视觉任务，名为视频实例分割，目标是同时检测、分割和跟踪视频帧中的实例。为了便于研究，提出了一个大规模基准数据集 YouTube-VIS 和一个新算法 MaskTrack R-CNN。实验表明，这个算法优于强基线，并为未来研究提供了启示。

    May, 2019

  • 快速在线视频实例分割的交叉学习

    本文提出了一种快速的在线视频实例分割模型 CrossVIS，通过交叉学习方案，即使用当前帧中的实例特征来像素级定位其他帧中的相同实例，实现了跨帧实例到像素关系的学习，结合实例分割损失，提高了在线实例相关性的准确性和稳定性，在三个具有挑战性的 VIS 基准测试数据集上实现了最先进的性能。

    Apr, 2021

  • MinVIS: 一种不需要基于视频训练的最小化视频实例分割框架

    提出了一种最小化的视频实例分割框架 MinVIS，通过训练基于查询的图像实例分割模型来处理视频帧，通过相关性匹配跟踪分割实例，最大限度地减少对标注帧的需求，并在 Occluded VIS 和 YouTube-VIS 数据集上实现与完全监督方法相当的性能，达到了最先进的结果。

    Aug, 2022