Jun, 2021

基于 Transformer 的视频目标分割算法

PDF
TL;DR本研究提出了基于 AOT 的嵌入式学习方法，通过将多个对象相互关联在同一高维度嵌入空间中，实现了同时处理多个对象的匹配和分割解码，具有更高的效率，并且在多个基准测试中均优于已有的 State-of-the-art 算法，是第三次大规模 VOS 挑战的第一名。
embedding learningsemi-supervised video object segmentationassociating objects with transformerslong short-term transformermulti-object scenarios
发现论文，激发创造
  • 2023 EPIC-KITCHEN 挑战赛中的浙江大学 ReLER 提交：半监督视频目标分割

    本研究介绍了 MSDeAOT，一种在多个特征尺度上运用 transformers 的 AOT 变体，利用分层的 GPM，以 stride 为 16 的特征尺度高效地从前一帧传播物体掩码至当前帧，同时在具有 stride 为 8 的更精细的特征尺度上应用 GPM，从而提高了检测和跟踪小物体的准确性。通过实现测试时间的数据增强和模型集成技术，我们在 EPIC-KITCHEN VISOR 半监督视频对象分割挑战中取得了排名第一的位置。

    Jul, 2023

  • 2023 年浙江大学 ReLER 提交的 EPIC-KITCHEN 挑战：TREK-150 单目标追踪

    通过 Associating Objects with Transformers (AOT) 框架，将 bounding boxes 转换为 masks，通过多个 feature scales 的转换实现视频对象跟踪和分割，并在 EPIC-KITCHENS TREK-150 Object Tracking Challenge 中获得第一名。

    Jul, 2023

  • 视频目标分割中的分层传播特征解耦

    研究论文提出了一种新的分层传播方法 DeAOT，它通过在两个独立分支中处理目标通用嵌入和目标特定嵌入，同时采用门控传播模块来构建分层传播，从而显著提高了视频物体分割的准确性和效率。

    Oct, 2022

  • 针对检索的目标感知视频语言预训练

    本文提出了基于物体感知的 Transformer 模型 Object-aware Transformers，使用边界框和物体标签来引导训练过程，将对象表示法引入视频 - 语言架构中，从而提高了视频文本匹配任务的性能。

    Dec, 2021

  • 在全景野外场景下的视频对象分割

    本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。

    May, 2023

  • 生成式视频变压器：物体能否成为语言的基本单位？

    本文介绍了一种利用 “Object-Centric” 思想的视频生成器 ——Object-Centric Video Transformer（OCVT）模型，该模型通过将场景分解为对象来学习多个相互作用对象的复杂空间 - 时间动态，相较于基于像素的模型，其显著提高了记忆效率，能够在单个 48GB GPU 上训练长度达 70 帧的视频，且在 CATER 任务上取得了最新的实验结果。

    Jul, 2021

  • 全程 Transformer 装备的端到端指代视频物体分割

    提出了一种基于 transformers 的完全建立在 Referring Video Object Segmentation 任务上的框架，通过学习 mask 序列解决视频中物体的分割问题，并通过 Stacked Transformer 来捕捉物体级别的空间上下文。

    Sep, 2023

  • 基于 Transformer 的对象分割（SOTR）

    该研究提出了一种新型、灵活且有效的基于 transformer 的模型 SOTR，该模型在 CNN 骨干网络的基础上增加了两个并行子任务，通过 transformer 预测每个实例的类别并使用多级上采样模块动态生成分割掩模，sotr 在识别实例级别时表现优异，代码开放源代码。

    Aug, 2021

  • 多模态变换器的端到端指代视频对象分割

    本文提出了一种名为 Multimodal Tracking Transformer（MTTR）的基于 Transformer 的方法来实现 referring video object segmentation（RVOS）任务，该方法将视频和文本结合起来处理，不依赖于复杂的流水线，并且在标准基准测试中显著优于以前的方法。

    Nov, 2021

  • 融合多种模态信息的统一视频物体分割时序变换器

    本文提出了 MUTR，通过统一框架和两种策略，实现了同时支持文本和音频引用的视频对象分割，实现了视频内部各帧的时序交互，从而提高了语义对齐和目标对应的准确性。MUTR 在多个数据集上都达到了更好的 J＆F 性能。

    May, 2023