提出了一种自适应跨模态目标跟踪算法 Modality-Aware Fusion Network（MAFNet），它通过自适应加权机制有效地整合 RGB 和近红外模态的信息，弥合了外观差距，实现了模态感知的目标表示。

Dec, 2023

本研究提出一种基于 prompt 范式的多模态 prompt 跟踪器 ProTrack，通过最大程度地利用 RGB 跟踪器预训练的跟踪能力，仅通过修改输入即可实现高性能的多模态跟踪，对 5 个基准数据集进行的大量实验证明了 ProTrack 的有效性。

Jul, 2022

基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

Aug, 2023

本文提出了一种基于多模态融合的新型多目标跟踪框架，通过将目标检测和多目标跟踪集成到同一模型中，取消了传统 TBD 范例中复杂的数据关联过程，并且不需要额外的训练。其次，探讨了历史轨迹回归的置信度，分析了一条轨迹在当前帧中的可能状态，并设计了置信度融合模块来指导有序关联的轨迹和检测的非极大值抑制。最后，在 KITTI 和 Waymo 数据集上进行了大量实验，结果表明，所提出的方法可以通过使用两个模态检测器实现鲁棒跟踪，并且比许多最新的基于 TBD 范例的多模式跟踪方法更加精确。

Apr, 2023

通过引入多模态图像以弥补单一成像传感器的限制，我们提出了一种基于通用双向适配器的新型多模态视觉提示跟踪模型，通过交互式互补多模态信息，实现了优良的跟踪性能。

Dec, 2023

提出了一种鲁棒的目标建模框架（ROMTrack），同时对固有模板和混合模板特征进行建模，通过结合目标对象的固有特征和搜索区域的引导来抑制有害干扰物，并使用混合模板提取与目标相关的特征，从而实现更强大的目标建模框架。

Aug, 2023

本研究提出了一种新型的多模态混合跟踪器 (MMHT)，利用基于帧事件的数据进行可靠的单目标跟踪，通过使用人工神经网络（ANN）和脉冲神经网络（SNN）构建混合骨干，并使用增强的基于 Transformer 的模块通过注意机制融合多模态特征，构建多尺度和多维度的视觉特征空间，从而实现了有益的特征建模。实验结果表明，MMHT 模型在解决视觉目标跟踪任务中面临的挑战方面具有竞争力。

May, 2024

本文介绍了一种新的感知任务，名为多物体全景追踪，它将传统上分离的语义分割、实例分割和多物体追踪任务综合在一起，并提出了基于软全景追踪质量度量的评估方法。本文还提出了一种新的全景追踪网络 PanopticTrackNet，用于同时学习所有子任务。实验结果表明，此方法在基于视觉和 LiDAR 的多物体追踪上均表现优异。

Apr, 2020

多模态目标跟踪是一个新兴领域，它利用来自各种模态的数据（比如视觉、深度、红外热像、事件、语言和音频）来估计视频序列中任意物体的状态。本研究综述了现有多模态目标跟踪任务，并分析总结了各个任务的常用数据集和主流的跟踪算法，重点关注了它们基于自监督学习、提示学习、知识蒸馏、生成模型和状态空间模型等技术范式。同时，在此网址上维护了一个持续更新的多模态目标跟踪论文清单。

May, 2024

该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。

Sep, 2019