RGBT 跟踪中的密集特征聚合与剪枝
提出了一种融合红外和可见光图像的端到端相似跟踪框架,这个框架通过特征级别的融合机制,在特征提取、目标估计网络和分类器三个主要部件中提高了单模态组件的表现表现,并在 VOT-RGBT2019 数据集上获得了 0.391 的准确率,进而取得 RGBT210 数据集的最佳表现。
Aug, 2019
本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT),该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合,有效提高了 RGB-T 追踪的鲁棒性和适用性。
Apr, 2023
该论文提出一种多适配器卷积网络(MANet),用于 RGBT 跟踪中的模态共享、模态特定和实例感知特征学习,以及采用并行结构的适配器以减少计算复杂度,与其他 RGB 和 RGBT 跟踪算法相比表现出杰出的性能。
Jul, 2019
本研究提出了一种名为质量感知特征聚合网络(FANet)的神经网络架构,用于在恶劣和具有挑战性的条件下使用补充的视觉和热红外数据进行强健的可见光跟踪,并对其进行了广泛的基准数据集实验证明了其与其他最先进的 RGBT 跟踪方法相比较高的准确性表现。
Nov, 2018
RGB-T 跟踪中,如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法,提出了 CSTNet,使用 ViT 作为主干,并插入了跨模态通道特征融合模块和跨模态空间特征融合模块,实现了 RGB 和 TIR 特征的直接交互。通过综合实验,CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。
May, 2024
提出了一种深度学习的图像跟踪方法,将 RGB 图像和红外热像合并进行特征提取和人工属性应用的跟踪,此方法在 RGBT234 和 LasHeR 这两个最广泛使用的 RGBT 目标跟踪数据集上表现优异。
Jul, 2023
我们提出了一个统一的单阶段 Transformer RGB-T 跟踪网络,名为 USTrack,它通过自注意机制将上述三个阶段统一到一个 ViT(Vision Transformer)主干中,并利用模态之间的相互作用提取融合特征,增强预测的目标 - 背景区分度,同时通过模态可靠性的特征选择机制改善跟踪性能。通过在三个流行的 RGB-T 跟踪基准上进行广泛实验,证明我们的方法在保持最快推理速度 84.2FPS 的同时,实现了新的最先进性能,特别是在 VTUAV 数据集的短期和长期子集上,MPR/MSR 分别增加了 11.1% 和 11.3%。
Aug, 2023
通过使用深度神经网络,并在不同的网络级别中应用自注意力机制以及交叉注意力机制,我们提出了一种名为 FusionRAFT 的方法,实现了早期传感器模态(RGB 和深度)之间的信息融合,以解决 RGB 信息不可靠的问题,在主动配准中取得了比最近方法更好的性能。
Jul, 2023
通过可见光图像和红外热图像的融合进行物体跟踪的 RGB-T 跟踪,通过交叉模态相互提示学习的新型两流 RGB-T 跟踪架构,将此模型作为教师指导单流学生模型,通过知识蒸馏技术实现快速学习,实验证明与类似的 RGB-T 跟踪器相比,我们设计的教师模型达到了最高的精确度,而具有相当精确度的学生模型实现了比教师模型快三倍以上的推理速度。
Mar, 2024
通过解耦可视目标跟踪为三个不同层次的组成部分,我们提出了一种名为 X-Net 的新型模态协助网络,用于学习鲁棒的多模态特征表示,解决 RGB 和热模态之间巨大差异带来的特征学习障碍,并改善跟踪性能。
Dec, 2023