基于注意力的 RGBT 跟踪融合路由器
本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT),该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合,有效提高了 RGB-T 追踪的鲁棒性和适用性。
Apr, 2023
本文提出一种基于深度融合和递归策略的算法用于多模态追踪,该算法利用端到端训练的卷积神经网络的特征表示强化在所有模态中的物体表示,采用全局平均池化和加权随机选择分数进行通道评分和选择,并通过剪枝去除冗余和噪声特征以实现更强的特征表示。在两个 RGBT 追踪基准数据集上的实验结果表明,该算法在 RGB 和 RGBT 追踪方法中实现了明显的最新技术水平。
Jul, 2019
提出一种名为 MFGNet 的动态模态感知滤波器生成模块,其能够通过自适应调整卷积核来增强可见和热数据之间的信息交流,以解决 RGB-T 跟踪中的遮挡、快速运动和视野范围限制等问题,并且实验表明该算法的有效性。
Jul, 2021
使用 transformers 建立了一种稳健的跟踪框架 MixFormer,采用混合注意力模块(MAM)实现了特征提取和目标信息的同步建模,同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。
Mar, 2022
我们提出了一个统一的单阶段 Transformer RGB-T 跟踪网络,名为 USTrack,它通过自注意机制将上述三个阶段统一到一个 ViT(Vision Transformer)主干中,并利用模态之间的相互作用提取融合特征,增强预测的目标 - 背景区分度,同时通过模态可靠性的特征选择机制改善跟踪性能。通过在三个流行的 RGB-T 跟踪基准上进行广泛实验,证明我们的方法在保持最快推理速度 84.2FPS 的同时,实现了新的最先进性能,特别是在 VTUAV 数据集的短期和长期子集上,MPR/MSR 分别增加了 11.1% 和 11.3%。
Aug, 2023
本文提出了两种用于 RGB-T 目标跟踪的视觉关注机制,其中包括利用 RGB 和热感数据的局部关注和多模态目标驱动关注估计网络的全局关注。在两个 RGB-T 基准数据集上的实验验证了我们提出算法的有效性。
Aug, 2019
提出了一种新颖的 Transformer RGBT 跟踪方法,通过融合静态多模态模板和多模态搜索区域中的时空多模态令牌来处理目标外观变化,以实现鲁棒的 RGBT 跟踪,并通过注意机制增强多模态模板令牌的目标特征,从而促进多模态增强的目标变化信息的传递。该方法在三个 RGBT 基准数据集上的实验证明了与其他最先进的跟踪算法相比具有竞争力的性能,帧率可达 39.1。
Jan, 2024
本研究提出了一种名为质量感知特征聚合网络(FANet)的神经网络架构,用于在恶劣和具有挑战性的条件下使用补充的视觉和热红外数据进行强健的可见光跟踪,并对其进行了广泛的基准数据集实验证明了其与其他最先进的 RGBT 跟踪方法相比较高的准确性表现。
Nov, 2018
提出一种新颖的多关注卷积架构,通过整合多个并行的软空间关注模块到多任务 CNN 架构中,来解决实时 RGB-D 6D 对象姿态跟踪问题,并考虑对象 3D 模型和姿态空间的特殊几何属性,使用更复杂的数据增强方法进行训练,实验证明该架构有效性得到了提高。
Apr, 2020
提出了一种融合红外和可见光图像的端到端相似跟踪框架,这个框架通过特征级别的融合机制,在特征提取、目标估计网络和分类器三个主要部件中提高了单模态组件的表现表现,并在 VOT-RGBT2019 数据集上获得了 0.391 的准确率,进而取得 RGBT210 数据集的最佳表现。
Aug, 2019