MFGNet: 基于动态模态感知滤波器生成的 RGB-T 跟踪网络
本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT),该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合,有效提高了 RGB-T 追踪的鲁棒性和适用性。
Apr, 2023
该论文提出一种多适配器卷积网络(MANet),用于 RGBT 跟踪中的模态共享、模态特定和实例感知特征学习,以及采用并行结构的适配器以减少计算复杂度,与其他 RGB 和 RGBT 跟踪算法相比表现出杰出的性能。
Jul, 2019
通过解耦可视目标跟踪为三个不同层次的组成部分,我们提出了一种名为 X-Net 的新型模态协助网络,用于学习鲁棒的多模态特征表示,解决 RGB 和热模态之间巨大差异带来的特征学习障碍,并改善跟踪性能。
Dec, 2023
本文提出了一种新的挑战感知神经网络来处理 RGBT 跟踪中的共享和特异性挑战,包括对模态共享和模态特异性挑战进行聚合和并行嵌入到骨干网络中以有效地形成更具区分性的目标表示。
Jul, 2020
本文提出了两种用于 RGB-T 目标跟踪的视觉关注机制,其中包括利用 RGB 和热感数据的局部关注和多模态目标驱动关注估计网络的全局关注。在两个 RGB-T 基准数据集上的实验验证了我们提出算法的有效性。
Aug, 2019
本研究提出了一种名为质量感知特征聚合网络(FANet)的神经网络架构,用于在恶劣和具有挑战性的条件下使用补充的视觉和热红外数据进行强健的可见光跟踪,并对其进行了广泛的基准数据集实验证明了其与其他最先进的 RGBT 跟踪方法相比较高的准确性表现。
Nov, 2018
提出了一种新颖的 Transformer RGBT 跟踪方法,通过融合静态多模态模板和多模态搜索区域中的时空多模态令牌来处理目标外观变化,以实现鲁棒的 RGBT 跟踪,并通过注意机制增强多模态模板令牌的目标特征,从而促进多模态增强的目标变化信息的传递。该方法在三个 RGBT 基准数据集上的实验证明了与其他最先进的跟踪算法相比具有竞争力的性能,帧率可达 39.1。
Jan, 2024
提出了一种非常简单的组合打乱多感受注意力(GSMA)模块,用于提取和结合多尺度 RGB 和热能特征,然后将提取的多模态特征直接集成到多级路径聚合网络中,显著改善了融合效果和效率,并通过多模态监督(MS)来充分监督 RGB-T 目标检测,实验证明该模型在保持竞争力的同时达到了最先进的准确性。
May, 2024
本文提出一种基于深度融合和递归策略的算法用于多模态追踪,该算法利用端到端训练的卷积神经网络的特征表示强化在所有模态中的物体表示,采用全局平均池化和加权随机选择分数进行通道评分和选择,并通过剪枝去除冗余和噪声特征以实现更强的特征表示。在两个 RGBT 追踪基准数据集上的实验结果表明,该算法在 RGB 和 RGBT 追踪方法中实现了明显的最新技术水平。
Jul, 2019
本文提出了一种双阶段特征增强注意力网络,用于 RGB-T 语义分割任务,可在保留空间信息的同时提高时间效率,并在城市场景数据集上优于其他 SOTA 的 RGB-T 方法。
Oct, 2021