Dec, 2023

通过可逆提示学习和高质量数据模拟的遗失模态 RGBT 跟踪

PDF
TL;DR在当前 RGBT 跟踪研究中，主要关注完整模态的场景，忽视了现实场景中模态缺失的挑战。本文综合研究了模态缺失挑战对 RGBT 跟踪的影响，并提出了一种新的可逆提示学习方法，将保留内容的提示集成到训练充分的跟踪模型中，以适应各种模态缺失场景，用于模态缺失的 RGBT 跟踪。
发现论文，激发创造
  • 多模态视觉识别中缺失模态的多模态提示

    本文提出一种使用 prompt learning 的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有 modality-missing-aware prompts，可插入到多模态 transformers 中处理不同的模态缺失情况，同时只需要少于 1% 的可学习参数。实验结果表明，该框架有效地提高了在各种模态缺失情况下的性能。

    Mar, 2023

  • 基于多模态互相提示学习的 RGB-T 跟踪

    基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

    Aug, 2023

  • 鲁棒的 RGB-T 追踪中的中间融合和多阶段、多形式提示

    提出了 M3PT，一种新型的 RGB-T 提示追踪方法，利用中融合和多模和多阶段的视觉提示来解决 RGB-T 追踪中的性能和效率之间的权衡、训练数据的稀缺性等挑战，并在四个具有挑战性的基准测试中超过了现有方法，同时达到了 46.1 fps 的推理速度。

    Mar, 2024

  • 文本到图像模型在视觉模态缺失的多模态学习中的应用

    通过用生成式变压器填补缺失的视觉数据，我们提出了一个简单但有效的多模态学习框架 GTI-MM，以增强数据效率和模型的鲁棒性，尤其是对于缺少视觉模态的情况。我们在多个多模态数据集上进行了全面的分析，包括模型的训练，结果显示合成图像有助于训练数据的效率，并提高在训练和测试中缺失视觉数据的模型的鲁棒性。此外，我们证明了 GTI-MM 对于生成数量较低和简单提示技术也是有效的。

    Feb, 2024

  • 多模态追踪的提示

    本研究提出一种基于 prompt 范式的多模态 prompt 跟踪器 ProTrack，通过最大程度地利用 RGB 跟踪器预训练的跟踪能力，仅通过修改输入即可实现高性能的多模态跟踪，对 5 个基准数据集进行的大量实验证明了 ProTrack 的有效性。

    Jul, 2022

  • 视觉提示的多模式跟踪

    本文提出了一种基于视觉提示学习的多模态跟踪方法，通过学习模态相关的提示来适应预训练好的基础模型，在 RGB + 深度、RGB + 热等多个跟踪任务中表现优秀，实现了参数效率和最先进性的平衡。

    Mar, 2023

  • 朝向健壮的多模式提示：缺失模态

    使用具体的提示设计来提高多模态学习的性能和鲁棒性，并减少提示的数量。

    Dec, 2023

  • 傅里叶引导的模态不完整场景分割

    通过引入 Missing-aware Modal Switch (MMS) 策略和 Fourier Prompt Tuning (FPT) 方法，该研究提出了一种改进的多模态分割方法，提高了在多模态感知系统中处理模态不完整性的能力。实验证明，在模态缺失情况下，该方法相比现有方法提高了 5.84% 的 mIoU 指标。

    Jan, 2024

  • 多模导向网络用于缺失模态推断

    提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

    Sep, 2023

  • 多模态追踪的双向适配器

    通过引入多模态图像以弥补单一成像传感器的限制，我们提出了一种基于通用双向适配器的新型多模态视觉提示跟踪模型，通过交互式互补多模态信息，实现了优良的跟踪性能。

    Dec, 2023