通过低秩分解和重构技术，我们提出了一种统一跟踪器 Un-Track，该方法通过学习共同的潜在空间来处理任何模态，并且只使用 RGB-X 对来学习共同的表示，在单个基于转换器的体系结构中实现了有效的统一和适应任何缺失的模态，同时无需进行模态特定的微调。在五个具有不同模态的基准数据集上的广泛比较表明，Un-Track 超过了最先进的统一跟踪器和经过模态特定微调的对应物，验证了我们的有效性和实用性。

Nov, 2023

我们设计了一种有效的视觉 - 语言表示方法，同时为追踪问题构建了一个大型带有语言注释的数据库。通过引入异构架构搜索和模态混合器等核心技术，以及对不同模态之间进行对比损失的引入，我们能够显著改善追踪问题的解决方案，并期望将更多注意力转向视觉 - 语言追踪，为未来的多样化多模态消息追踪开辟更多可能性。

Jul, 2023

基于首帧的初始外观，视觉目标跟踪旨在定位每一帧的目标对象。根据输入的不同类型，跟踪任务可分为 RGB 跟踪和 RGB+X（如 RGB+N 和 RGB+D）跟踪。本文提出了一个统一多种跟踪任务的通用框架，称之为 OneTracker。OneTracker 首先对称为 Foundation Tracker 的 RGB 跟踪器进行大规模预训练，使其具备估计目标对象位置的稳定能力，然后将其他模态信息视为提示，在 Foundation Tracker 的基础上构建 Prompt Tracker。通过冻结 Foundation Tracker 并仅调整一些额外可训练参数，Prompt Tracker 抑制了 Foundation Tracker 的强定位能力，并在下游的 RGB+X 跟踪任务上实现了参数高效微调。为了评估我们的通用框架 OneTracker 的有效性，我们在 11 个基准测试中对 6 个常见的跟踪任务进行了大量实验，结果显示 OneTracker 优于其他模型并取得了最先进的性能。

Mar, 2024

通过解耦可视目标跟踪为三个不同层次的组成部分，我们提出了一种名为 X-Net 的新型模态协助网络，用于学习鲁棒的多模态特征表示，解决 RGB 和热模态之间巨大差异带来的特征学习障碍，并改善跟踪性能。

Dec, 2023

单目标跟踪 UVLTrack 是一个统一的跟踪器，可同时处理边界框（BBOX）、自然语言（NL）和两者（NL+BBOX）的参考设置，并具有多种优势，包括模态一致的特征提取器、多模态对比性损失和模态自适应盒子头。在多个数据集上 extensive 实验结果显示，UVLTrack 在视觉跟踪、视觉语言跟踪和视觉定位方面具有有前景的性能。

Jan, 2024

我们提出了一种通用视觉模型，采用集成式的训练方式，使其可同时进行多任务，具有较强的泛化能力和模块化特性，并可在保证较小的训练参数、模型参数和计算量的同时，灵活地满足各种下游任务的需求，且适用于不断学习而无需遗忘的情境。

Jun, 2023

本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT)，该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合，有效提高了 RGB-T 追踪的鲁棒性和适用性。

Apr, 2023

基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

Aug, 2023

本研究提出了一种解决视频跟踪问题的通用方法 UniTrack，其包含单一的面部模型和多个任务特定的解决方案，可以通过监督学习或自监督学习进行训练，可以在大多数跟踪任务中获得与特定方法竞争的结果，并扩展方法的评估和比较范围。

Jul, 2021

通过 UnIVAL 统一模型，可以有效地支持图像、文本、视频和音频等多种模态任务，并通过模型权重插值实现多模态模型融合，展示其在特定领域的分布外泛化能力。

Jul, 2023