通过视频物体分割和跟踪的蒙版动画
通过 Associating Objects with Transformers (AOT) 框架,将 bounding boxes 转换为 masks,通过多个 feature scales 的转换实现视频对象跟踪和分割,并在 EPIC-KITCHENS TREK-150 Object Tracking Challenge 中获得第一名。
Jul, 2023
本研究介绍了 MSDeAOT,一种在多个特征尺度上运用 transformers 的 AOT 变体,利用分层的 GPM,以 stride 为 16 的特征尺度高效地从前一帧传播物体掩码至当前帧,同时在具有 stride 为 8 的更精细的特征尺度上应用 GPM,从而提高了检测和跟踪小物体的准确性。通过实现测试时间的数据增强和模型集成技术,我们在 EPIC-KITCHEN VISOR 半监督视频对象分割挑战中取得了排名第一的位置。
Jul, 2023
通过分析运动模式使用固有的张量结构进行片段分割和目标追踪,该算法在 LaSOT、AVisT、OTB100 和 GOT-10k 等基准测试中取得了有竞争力的结果,并能够实现实时操作。
Sep, 2023
该报告介绍了一种名为 SAMTrack 的框架,它允许用户精确有效地分割和跟踪视频中的任何物体,同时使用多模态交互方法对选择的多个物体进行追踪,可以在无人机技术、自动驾驶、医学成像、增强现实和生物分析等领域中使用。SAM-Track 将交互式关键帧分割模型 SAM 与提出的具有 AOT 的跟踪模型(DeAOT)结合起来,以便在视频中追踪物体,并融合了 Grounding-DINO,使该框架支持基于文本的交互。我们在 DAVIS-2016 Val(92.0%),DAVIS-2017 Test(79.2%)中展示了 SAM-Track 的显着能力,并在实际应用中展现其实用性。
May, 2023
通过将光流与 Segment Anything 模型 (SAM) 结合,本文研究了两种模型,一种使用光流作为输入,另一种使用 RGB 作为输入,这两种简单的方法在单个和多个物体分割基准测试中,凭借其出色的性能超过了所有先前的方法,同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。
Apr, 2024
通过结合基于 SfM 的 SAM 模型将视频中的目标进行分割和跟踪的方法,提出一种减少手动注释工作量的视频对象跟踪系统。系统性能经过计算时间、与手动标签的掩码 IOU 和跟踪损失数量等三个指标的评估,结果表明该系统在跟踪视频帧中的物体方面较人工表现有显著计算时间改善,但在性能上存在一定程度的退化。
Oct, 2023
本文介绍了一种新型的自动生成训练数据代码库,以及改进了最先进的多目标跟踪和分割方法。文章提出了跟踪挖掘算法和 MOTSNet 的深度学习跟踪方法,并在 KITTI MOTS 数据集上取得了显著的性能提升。
Dec, 2019
本研究提出一种新型的 State-Aware Tracker (SAT) 模型来进行半监督视频目标分割。SAT 利用视频属性和目标帧之间的一致性来获得更高的效率,并通过两个反馈循环实现更稳定和鲁棒的表现,获得了在 DAVIS2017-Val 数据集上 72.3% 的 J&F 均值和秒级的速度,并在 github.com/MegviiDetection/video_analyst 上发布了代码。
Mar, 2020
本文提出一种新的方法,在视觉目标追踪方面通过 3D 形态和位姿表达,结合可微分渲染技术优化一个新型的损失函数,取得了在三个数据集上追踪刚性物体方面的最新进展。
Apr, 2023