CVPRMar, 2022

通过轨迹查询和建议实现高效的视频实例分割

PDF
TL;DREfficientVIS 是一种全新的视频实例分割框架，实现了完全的端到端学习，采用了轨迹查询和轨迹建议技术，通过迭代式的查询 - 视频交互方法在空间和时间上关联和分割 RoIs，采用了对应关系学习，不需要手工数据关联即可一次性实现整个视频实例分割，训练时间显著减少并在 YouTube-VIS 基准测试上达到了最先进的准确率。
video instance segmentationend-to-end learningtracklet proposalcorrespondence learningstate-of-the-art accuracy
发现论文，激发创造
  • 基于 Transformer 的端到端视频实例分割

    VisTR 是一种基于 Transformers 的视频实例分割框架，提出了一种新的实例序列匹配和分割策略实现对序列的监督，从相似性学习的角度框架实例分割和跟踪，大大简化了整个流程，并在 YouTube-VIS 数据集上取得了最佳结果和最高速度，这激励了未来更多的视频理解任务的研究。

    Nov, 2020

  • 视频实例分割的时空对比学习

    本文提出了一种基于 CondInst 方法和单阶段的跟踪头的简单高效的视频实例分割框架，利用新颖的双向时空对比学习策略和实例级别的时间一致性方案来提高实例关联性准确性，在 YouTube-VIS-2019，YouTube-VIS-2021 和 OVIS-2021 数据集上验证了该方法的有效性和效率。

    Feb, 2022

  • 追踪实例作为查询

    本文提出了一种名为 QueryTrack 的统一查询 VIS 框架，该框架利用 QueryInst 中实例和查询之间固有的一对一对应关系，采用端到端模型、单尺度测试和适量的训练数据，在 YouTube-VIS-2019/2021 数据集上实现了 52.7/52.3 AP，并在 CVPR 2021 的 YouTube-VIS 挑战赛中获得第二名。

    Jun, 2021

  • 视频实例分割的时间高效视觉 Transformer

    提出了一种名为 TeViT 的视觉 Transformer，它在视频实例分割任务中高效地对关键的时间信息进行建模，并在三个广泛采用的视觉实例分割基准测试中取得了最新的结果。

    Apr, 2022

  • MinVIS: 一种不需要基于视频训练的最小化视频实例分割框架

    提出了一种最小化的视频实例分割框架 MinVIS，通过训练基于查询的图像实例分割模型来处理视频帧，通过相关性匹配跟踪分割实例，最大限度地减少对标注帧的需求，并在 Occluded VIS 和 YouTube-VIS 数据集上实现与完全监督方法相当的性能，达到了最先进的结果。

    Aug, 2022

  • 基于提议 - 缩减范式的视频实例分割

    本研究提出了一种名为 “Propose-Reduce” 的新范式，通过单个步骤为输入视频生成完整的序列，用于视频实例分割，并在现有的图像级别实例分割网络上构建了一个序列传播头以实现长期传播。本方法在两个代表性基准数据集上取得了最先进的性能。

    Mar, 2021

  • 视频实例分割中的点监督价值是多少？

    通过减少视频帧中的人工注释点为每个对象，我们提出了一种训练方法来获得接近完全监督模型的高质量掩码预测，在三个视频示例分割基准上展示了该框架的竞争性性能。

    Apr, 2024

  • 视频实例分割的通用框架

    提出了基于查询式训练和具有前状态信息的内存模块用于序列学习的通用可变的视频实例分割（GenVIS）方法，并在多个基准测试中取得了优秀的结果。

    Nov, 2022

  • NOVIS：面向端到端近在线视频实例分割的案例

    近期的研究表明，针对具有挑战性和长视频序列而言，传统的离线方法不一定优于逐帧的在线处理。本研究提出了新的面向近在线视频实例分割（NOVIS）方法，并通过详细分析不同处理范式和新的端到端可训练模型，证明了该方法的优越性，并在 YouTube-VIS（2019/2021）和 OVIS 基准测试中取得了新的最先进的结果。

    Aug, 2023

  • 开放式视频实例分割

    本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的 MindVLT 实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。

    Apr, 2023