基于无人机的跨模态车辆再识别在视频监控和公共安全领域得到了越来越多的关注，然而，由于数据不足，这一有前景的创新性研究尚未得到充分的研究。我们提出了一个名为 UCM-VeID 的跨模态车辆再识别基准数据集，其中包含 753 个身份，共有 16015 个 RGB 图像和 13913 个红外图像。为了应对跨模态差异和方向差异挑战，我们提出了一个混合权重解耦网络（HWDNet），用于学习共享的具有方向不变性的判别特征。我们还针对这两个挑战提出了一个使用了精心设计的权重约束器和相应目标函数的混合权重孪生网络，用于学习模态特定和模态共享的信息。我们进行了一系列全面的实验证明了所提出方法的有效性。数据集和代码将在该 https URL 上发布。

Oct, 2023

在大规模灾难事件中，构建最优救援路径的规划依赖于在灾难现场的目标检测能力，其中主要挑战之一是存在密集和遮挡的目标。该研究提出了一种多模态协作网络（MuDet）用于密集和遮挡的车辆检测，通过构建多模态数据集并采用三个主要模块来增强不同模态的特征，并通过定义和阈值化置信度值来有效分离复杂背景中密集遮挡的车辆目标。实验结果表明 MuDet 的鲁棒性和通用性。

May, 2024

该研究提出了一种面向多光谱车辆重新识别的方案，该方案通过交叉模态增强网络，结合热红外光谱引导雷达，实现了在各种恶劣环境下识别车辆的高效性。

May, 2023

多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

Oct, 2023

通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

Nov, 2021

为了解决现有数据集图片数量有限的问题，本文提出了一个包含图像和三维数据的多模态综合数据集，该数据集包含 28 类的像素级标注，并可用于深度网络架构的有效训练，结果表明其在合成数据和实际数据的适应方面具有良好的前景。

Aug, 2023

本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

Apr, 2017

本文提出了一种多用途的多模态传感器航空数据集（AU-AIR）, 旨在弥合计算机视觉和机器人学之间的差距，并通过多种类型的记录数据进行真实环境的移动物体检测训练和测试，包括自带计算机的无人机。

Jan, 2020

该研究提出了一种多模态无人机追踪和位姿估计方法，通过利用多模态传感器信息，包括立体视觉、各种雷达和音频阵列，以及针对无人机检测、分类和 3D 跟踪的困难，提高了准确度和稳健性，并在 MMUAD 数据集的分类和跟踪任务中取得了最好的性能。

May, 2024

通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

Jul, 2023