May, 2024

跟踪一切猛禽 (TAR)

TL;DR开发了一种名为 Track Anything Raptor (TAR) 的先进空中飞行器系统,利用多模态请求 (如文本、图像和点击) 检测、分割和跟踪用户感兴趣的对象,并使用 DINO、CLIP 和 SAM 等先进模型估计查询对象的相对姿态,通过高级运动规划和控制算法,将跟踪问题解决为视觉伺服任务,在自定义高级控制算法与 PX4 自动驾驶仪及 Voxl2 M500 无人机的集成下展示了高度稳定和精准的跟踪系统,并通过与 Vicon 基准的比较验证了跟踪算法的性能,并评估了先进模型在涉及遮挡场景下的跟踪可靠性,最后测试和验证了模型在各种模态下的无缝工作能力,包括点击、包围框和图像模板。