我们提出了一个统一的单阶段 Transformer RGB-T 跟踪网络，名为 USTrack，它通过自注意机制将上述三个阶段统一到一个 ViT（Vision Transformer）主干中，并利用模态之间的相互作用提取融合特征，增强预测的目标 - 背景区分度，同时通过模态可靠性的特征选择机制改善跟踪性能。通过在三个流行的 RGB-T 跟踪基准上进行广泛实验，证明我们的方法在保持最快推理速度 84.2FPS 的同时，实现了新的最先进性能，特别是在 VTUAV 数据集的短期和长期子集上，MPR/MSR 分别增加了 11.1% 和 11.3%。

Aug, 2023

通过可见光图像和红外热图像的融合进行物体跟踪的 RGB-T 跟踪，通过交叉模态相互提示学习的新型两流 RGB-T 跟踪架构，将此模型作为教师指导单流学生模型，通过知识蒸馏技术实现快速学习，实验证明与类似的 RGB-T 跟踪器相比，我们设计的教师模型达到了最高的精确度，而具有相当精确度的学生模型实现了比教师模型快三倍以上的推理速度。

Mar, 2024

该论文提出一种多适配器卷积网络（MANet），用于 RGBT 跟踪中的模态共享、模态特定和实例感知特征学习，以及采用并行结构的适配器以减少计算复杂度，与其他 RGB 和 RGBT 跟踪算法相比表现出杰出的性能。

Jul, 2019

提出了一种融合红外和可见光图像的端到端相似跟踪框架，这个框架通过特征级别的融合机制，在特征提取、目标估计网络和分类器三个主要部件中提高了单模态组件的表现表现，并在 VOT-RGBT2019 数据集上获得了 0.391 的准确率，进而取得 RGBT210 数据集的最佳表现。

Aug, 2019

提出了一种新颖的自监督 MM-DistillNet 框架，利用多个教师的多样性模态（包括 RGB、深度和热成像）来同时利用互补线索并将知识蒸馏到单一的音频学生网络中，而且还引入了一种新的自监督假设任务来使我们不依赖于人工标注。该方法在探测物体方面具有优越性能，即使在移动的情况下也能使用声音来检测多个物体。

Mar, 2021

基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

Aug, 2023

通过引入多模态图像以弥补单一成像传感器的限制，我们提出了一种基于通用双向适配器的新型多模态视觉提示跟踪模型，通过交互式互补多模态信息，实现了优良的跟踪性能。

Dec, 2023

通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

Jul, 2023

本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT)，该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合，有效提高了 RGB-T 追踪的鲁棒性和适用性。

Apr, 2023

通过低秩分解和重构技术，我们提出了一种统一跟踪器 Un-Track，该方法通过学习共同的潜在空间来处理任何模态，并且只使用 RGB-X 对来学习共同的表示，在单个基于转换器的体系结构中实现了有效的统一和适应任何缺失的模态，同时无需进行模态特定的微调。在五个具有不同模态的基准数据集上的广泛比较表明，Un-Track 超过了最先进的统一跟踪器和经过模态特定微调的对应物，验证了我们的有效性和实用性。

Nov, 2023