挑战感知的 RGBT 跟踪
该论文提出一种多适配器卷积网络(MANet),用于 RGBT 跟踪中的模态共享、模态特定和实例感知特征学习,以及采用并行结构的适配器以减少计算复杂度,与其他 RGB 和 RGBT 跟踪算法相比表现出杰出的性能。
Jul, 2019
基于可见光和热红外图像融合的目标跟踪,称为 RGB-T 跟踪,在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近,随着计算机视觉中即时学习的兴起,我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性,我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器,在骨干网络的每一层中嵌入了二维注意机制,以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明,我们提出的跟踪架构既有效又高效,在保持高运行速度的同时实现了最先进的性能。
Aug, 2023
本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT),该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合,有效提高了 RGB-T 追踪的鲁棒性和适用性。
Apr, 2023
提出了一种通过联合建模外观和运动线索的新型 RGB-T 跟踪框架,利用先进的融合方法并引入跟踪切换机制使其性能显著优于其他同类算法。
Jul, 2020
本文提出了两种用于 RGB-T 目标跟踪的视觉关注机制,其中包括利用 RGB 和热感数据的局部关注和多模态目标驱动关注估计网络的全局关注。在两个 RGB-T 基准数据集上的实验验证了我们提出算法的有效性。
Aug, 2019
通过可见光图像和红外热图像的融合进行物体跟踪的 RGB-T 跟踪,通过交叉模态相互提示学习的新型两流 RGB-T 跟踪架构,将此模型作为教师指导单流学生模型,通过知识蒸馏技术实现快速学习,实验证明与类似的 RGB-T 跟踪器相比,我们设计的教师模型达到了最高的精确度,而具有相当精确度的学生模型实现了比教师模型快三倍以上的推理速度。
Mar, 2024
提出一种名为 MFGNet 的动态模态感知滤波器生成模块,其能够通过自适应调整卷积核来增强可见和热数据之间的信息交流,以解决 RGB-T 跟踪中的遮挡、快速运动和视野范围限制等问题,并且实验表明该算法的有效性。
Jul, 2021
本文提出一种基于深度融合和递归策略的算法用于多模态追踪,该算法利用端到端训练的卷积神经网络的特征表示强化在所有模态中的物体表示,采用全局平均池化和加权随机选择分数进行通道评分和选择,并通过剪枝去除冗余和噪声特征以实现更强的特征表示。在两个 RGBT 追踪基准数据集上的实验结果表明,该算法在 RGB 和 RGBT 追踪方法中实现了明显的最新技术水平。
Jul, 2019
提出了一种新颖的 Transformer RGBT 跟踪方法,通过融合静态多模态模板和多模态搜索区域中的时空多模态令牌来处理目标外观变化,以实现鲁棒的 RGBT 跟踪,并通过注意机制增强多模态模板令牌的目标特征,从而促进多模态增强的目标变化信息的传递。该方法在三个 RGBT 基准数据集上的实验证明了与其他最先进的跟踪算法相比具有竞争力的性能,帧率可达 39.1。
Jan, 2024
提出了一种新型的时域自适应 RGBT 跟踪框架 TATrack,该框架通过在线更新模板和跨模式交互,综合利用时空信息和多模态信息进行目标定位,并在三个常用 RGBT 跟踪基准上取得了最先进的性能。
Jan, 2024