Aug, 2019

学习面向目标的双重注意力，实现 RGB-T 跟踪的稳健性

PDF
TL;DR本文提出了两种用于 RGB-T 目标跟踪的视觉关注机制，其中包括利用 RGB 和热感数据的局部关注和多模态目标驱动关注估计网络的全局关注。在两个 RGB-T 基准数据集上的实验验证了我们提出算法的有效性。
rgb-thermalobject trackingvisual attentionthermal infrared datadeep classifiers
发现论文，激发创造
  • 基于混合注意力的 RGB-T 跟踪

    本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT)，该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合，有效提高了 RGB-T 追踪的鲁棒性和适用性。

    Apr, 2023

  • 基于多模态互相提示学习的 RGB-T 跟踪

    基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

    Aug, 2023

  • 从双流到单流：通过互动提示学习和知识蒸馏实现高效的 RGB-T 跟踪

    通过可见光图像和红外热图像的融合进行物体跟踪的 RGB-T 跟踪，通过交叉模态相互提示学习的新型两流 RGB-T 跟踪架构，将此模型作为教师指导单流学生模型，通过知识蒸馏技术实现快速学习，实验证明与类似的 RGB-T 跟踪器相比，我们设计的教师模型达到了最高的精确度，而具有相当精确度的学生模型实现了比教师模型快三倍以上的推理速度。

    Mar, 2024

  • 联合建模动态与外观线索，实现鲁棒的 RGB-T 跟踪

    提出了一种通过联合建模外观和运动线索的新型 RGB-T 跟踪框架，利用先进的融合方法并引入跟踪切换机制使其性能显著优于其他同类算法。

    Jul, 2020

  • EANet：增强的基于属性的 RGBT 跟踪器网络

    提出了一种深度学习的图像跟踪方法，将 RGB 图像和红外热像合并进行特征提取和人工属性应用的跟踪，此方法在 RGBT234 和 LasHeR 这两个最广泛使用的 RGBT 目标跟踪数据集上表现优异。

    Jul, 2023

  • 基于分组洗牌的多尺度多通道注意力和多模态监督的 RGB-T 目标检测

    提出了一种非常简单的组合打乱多感受注意力（GSMA）模块，用于提取和结合多尺度 RGB 和热能特征，然后将提取的多模态特征直接集成到多级路径聚合网络中，显著改善了融合效果和效率，并通过多模态监督（MS）来充分监督 RGB-T 目标检测，实验证明该模型在保持竞争力的同时达到了最先进的准确性。

    May, 2024

  • RGB-T 对象跟踪：基准与基线

    该研究提出了一个大规模的 RGB-T 追踪视频基准数据集和一种新的基于图的方法，以学习强大的对象表示并实现多源数据融合的自适应融合，对其他最先进的追踪方法进行比较，并提供了对 RGB-T 对象追踪领域的新见解和潜在研究方向。

    May, 2018

  • 挑战感知的 RGBT 跟踪

    本文提出了一种新的挑战感知神经网络来处理 RGBT 跟踪中的共享和特异性挑战，包括对模态共享和模态特异性挑战进行聚合和并行嵌入到骨干网络中以有效地形成更具区分性的目标表示。

    Jul, 2020

  • 多适配器 RGBT 跟踪

    该论文提出一种多适配器卷积网络（MANet），用于 RGBT 跟踪中的模态共享、模态特定和实例感知特征学习，以及采用并行结构的适配器以减少计算复杂度，与其他 RGB 和 RGBT 跟踪算法相比表现出杰出的性能。

    Jul, 2019

  • 可见光与热红外无人机跟踪：一个大规模基准和新基线

    本研究旨在构建一个高度多样化的可见热（RGB-T）无人机跟踪（VTUAV）基准，包括 500 个序列和 170 万帧对，以及设计了一个名为 Hierarchical Multi-modal Fusion Tracker (HMFT) 的新的 RGB-T 基准，该基准可以在各个级别上融合 RGB-T 数据。

    Apr, 2022