联合特征学习和关系建模用于跟踪:单流框架
本文提出了一种基于适应性标记划分的关系建模方法,通过与模板标记的交互来改善现有的单流跟踪器中可能出现的目标 - 背景混淆问题,并引入注意掩蔽策略和 Gumbel-Softmax 技术,以促进标记划分模块的并行计算和端到端的学习,在六个具有挑战性的基准测试中实现了最先进的性能。
Mar, 2023
提出了一种鲁棒的目标建模框架(ROMTrack),同时对固有模板和混合模板特征进行建模,通过结合目标对象的固有特征和搜索区域的引导来抑制有害干扰物,并使用混合模板提取与目标相关的特征,从而实现更强大的目标建模框架。
Aug, 2023
通过 EasyTrack 提出一种新的一次性转换器 3D SOT 范例,利用点云跟踪特征预训练模块、统一的 3D 跟踪特征学习和融合网络,以及在密集鸟瞰特征空间中构建的目标定位网络,显著提高了 KITTI、NuScenes 和 Waymo 的性能,并具有较低的参数和高帧率。
Apr, 2024
本文提出了一种新颖的单分支框架 SyncTrack,通过同步特征提取和匹配,避免了传统的对模板和搜索区域分别进行编码器传递以及引入额外的匹配网络参数,并基于 Transformer 的动态关联实现了同步机制。此外,引入了一种新颖的注意力点采样策略 (APST) 来代替随机 / Farthest Points Sampling (FPS) 方法,通过注意力关系来指导采样,将点采样与特征学习相连接,有助于聚合更加明显和几何特征以进行稀疏点跟踪。在两个基准数据集(KITTI 和 NuScenes)上进行的广泛实验表明,SyncTrack 在实时跟踪方面取得了最先进的性能。
Aug, 2023
本文提出了一种简单而有效的两阶段特征学习模型,以共同学习不同目标的单帧特征和多帧特征,从而在跟踪过程中实现鲁棒的数据关联。通过引入单帧特征学习模块和多帧特征学习模块,可以有效地关联相邻帧之间的目标和长时间丢失的目标。通过简单的数据关联逻辑,所提出的 VisualTracker 能够基于单帧特征和多帧特征进行鲁棒的多目标跟踪,实验结果表明该方法在 MOT17 和 MOT20 数据集上取得了显著的改进,并在 DanceTrack 数据集上达到了最先进的性能。
Nov, 2023
在线图像跟踪中,稀疏的时间关系会限制引用帧和搜索帧之间的联合处理,为了解决这一问题,本文提出了一种名为 ODTrack 的简洁、灵活、有效的视频级跟踪方法,通过在线令牌传播方式密集地关联视频帧的背景关系,从而在多个基准测试中取得了先进的性能,并且保持实时速度运行。
Jan, 2024
该研究提出了一种名为 RelationTrack 的 MOT 框架,它使用全局上下文分离模块和引导变压器编码器来解决检测和重新识别的矛盾,并通过在性能上显著优于现有的算法来建立了新的最先进性能水平。
May, 2021
我们提出了一个统一的单阶段 Transformer RGB-T 跟踪网络,名为 USTrack,它通过自注意机制将上述三个阶段统一到一个 ViT(Vision Transformer)主干中,并利用模态之间的相互作用提取融合特征,增强预测的目标 - 背景区分度,同时通过模态可靠性的特征选择机制改善跟踪性能。通过在三个流行的 RGB-T 跟踪基准上进行广泛实验,证明我们的方法在保持最快推理速度 84.2FPS 的同时,实现了新的最先进性能,特别是在 VTUAV 数据集的短期和长期子集上,MPR/MSR 分别增加了 11.1% 和 11.3%。
Aug, 2023
研究发现基于信息流的变压器跟踪器 (OIFTrack) 可以增强其辨别能力,并在挑战性的基准测试中取得杰出表现,特别是在一次跟踪基准测试 GOT-10k 中,平均重叠度达到 74.6%。
Feb, 2024
本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络,通过自我关注模块和交叉注意力,提高了全局和丰富的背景信息获取,支持超越局部特征的追踪效果,在多个基准测试上表现出优异的性能。
May, 2021