本文综述了 RGB-DT 多模态数据融合领域的最新研究进展，提供了细致的方法分类和技术评估，讨论了校准、热成像、三维重建以及特征和深度学习算法等方面，并探讨了该领域的挑战和未来发展方向。

May, 2023

基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

Aug, 2023

本文提出使用生成对抗网络（GANs）从彩色（RGB）图像自动生成热红外（TIR）图像，并同时使用两者训练人群计数模型以提高精确度。在多个人群计数模型和基准人群数据集上进行的实验证明了显著的精确度提升。

Jan, 2024

我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无需额外计算开销。性能评估和消融研究结果表明，与现有的最先进方法相比，该方法取得了卓越的性能。

Sep, 2023

本研究针对深度学习中的异构数据模态问题提出了一种新的方法 —— 基于对抗学习与特权信息框架下的 RGB-D 视觉任务的幻象网络训练方法，旨在从深度和 RGB 视频中提取信息，使得在测试时，只需要使用 RGB 数据即可。这一方法在 NYUD 数据集的目标分类和最大多模态视频行为识别数据集（NTU RGB+D）以及美国西北大学加洛斯高等研究院的数据集上均取得了领先的结果。

Oct, 2018

提出了一种非常简单的组合打乱多感受注意力（GSMA）模块，用于提取和结合多尺度 RGB 和热能特征，然后将提取的多模态特征直接集成到多级路径聚合网络中，显著改善了融合效果和效率，并通过多模态监督（MS）来充分监督 RGB-T 目标检测，实验证明该模型在保持竞争力的同时达到了最先进的准确性。

May, 2024

本文提出了一种采用互补的随机掩膜策略和自我蒸馏损失函数的 RGB-thermal 语义分割方法，能够减少对单一模态的依赖，并从单一或互补掩膜模态中提取互补的而有意义的表示，从而在复杂的天气和光照条件下实现可靠的语义场景理解。

Mar, 2023

本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

Jul, 2021

本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

Mar, 2020

本文提出了一种自适应景观识别方法，该方法使用 RGB 和深度图像之间的自监督转换，以解决多模态数据集之间的领域转移问题，并证明其在不同相机采集的数据之间具有很强的泛化能力。

Mar, 2021