Jul, 2023

2023 EPIC-KITCHEN 挑战赛中的浙江大学 ReLER 提交：半监督视频目标分割

PDF
TL;DR本研究介绍了 MSDeAOT，一种在多个特征尺度上运用 transformers 的 AOT 变体，利用分层的 GPM，以 stride 为 16 的特征尺度高效地从前一帧传播物体掩码至当前帧，同时在具有 stride 为 8 的更精细的特征尺度上应用 GPM，从而提高了检测和跟踪小物体的准确性。通过实现测试时间的数据增强和模型集成技术，我们在 EPIC-KITCHEN VISOR 半监督视频对象分割挑战中取得了排名第一的位置。
associating objects with transformersvideo object segmentationmsdeaotgated propagation moduleepic-kitchen visor semi-supervised video object segmentation challenge
发现论文，激发创造
  • 2023 年浙江大学 ReLER 提交的 EPIC-KITCHEN 挑战：TREK-150 单目标追踪

    通过 Associating Objects with Transformers (AOT) 框架，将 bounding boxes 转换为 masks，通过多个 feature scales 的转换实现视频对象跟踪和分割，并在 EPIC-KITCHENS TREK-150 Object Tracking Challenge 中获得第一名。

    Jul, 2023

  • 基于 Transformer 的视频目标分割算法

    本研究提出了基于 AOT 的嵌入式学习方法，通过将多个对象相互关联在同一高维度嵌入空间中，实现了同时处理多个对象的匹配和分割解码，具有更高的效率，并且在多个基准测试中均优于已有的 State-of-the-art 算法，是第三次大规模 VOS 挑战的第一名。

    Jun, 2021

  • 视频目标分割中的分层传播特征解耦

    研究论文提出了一种新的分层传播方法 DeAOT，它通过在两个独立分支中处理目标通用嵌入和目标特定嵌入，同时采用门控传播模块来构建分层传播，从而显著提高了视频物体分割的准确性和效率。

    Oct, 2022

  • 全程 Transformer 装备的端到端指代视频物体分割

    提出了一种基于 transformers 的完全建立在 Referring Video Object Segmentation 任务上的框架，通过学习 mask 序列解决视频中物体的分割问题，并通过 Stacked Transformer 来捕捉物体级别的空间上下文。

    Sep, 2023

  • 在全景野外场景下的视频对象分割

    本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。

    May, 2023

  • 基于 Transformer 的对象分割（SOTR）

    该研究提出了一种新型、灵活且有效的基于 transformer 的模型 SOTR，该模型在 CNN 骨干网络的基础上增加了两个并行子任务，通过 transformer 预测每个实例的类别并使用多级上采样模块动态生成分割掩模，sotr 在识别实例级别时表现优异，代码开放源代码。

    Aug, 2021

  • 基于注意力机制和软最大值的无监督多目标分割

    利用平移等变性注意机制进行的无监督物体中心表示学习和多物体检测与分割架构，其中使用注意机制来预测场景中物体的坐标并为每个物体关联一个特征向量。

    May, 2022

  • 通过基于物体的分层表示进行移动物体分割

    本篇论文介绍了一个基于对象中心的分割模型，借助变压器架构对光流进行处理来实现视频中的多个运动对象发现、追踪与分割。同时，采用可伸缩管线生成多对象合成训练数据，以及深度学习模型的全面验证研究，并证明其在表现、预测能力等方面都具备领先水平。

    Jul, 2022

  • ReIDTrack：无运动的多对象追踪与分割

    基于 CBNetV2 和 Swin-B 的检测模型以及 MoCo-v2 的自监督外观模型，我们探索了一种新的 SOTA 方向，通过去除运动信息和 IoU 映射，取得了在 CVPR2023 WAD 研讨会的 MOTS 轨迹上的第一名以及 MOT 轨迹上的第二名的简单有效方法。

    Aug, 2023

  • M3T：视频目标分割和跟踪的多尺度记忆匹配

    通过提出一种新颖的，DET-R 风格的编码器 - 解码器架构，我们克服了长视频中有关小对象的数据特性所带来的挑战，并在两个复杂数据集上实现了最先进的性能。

    Dec, 2023