多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

Oct, 2023

RGB-T 跟踪中，如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法，提出了 CSTNet，使用 ViT 作为主干，并插入了跨模态通道特征融合模块和跨模态空间特征融合模块，实现了 RGB 和 TIR 特征的直接交互。通过综合实验，CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。

May, 2024

本研究提出了余弦相似度融合网络 (CSFNet) 作为实时的 RGB-X 语义分割模型，通过设计余弦相似度注意力融合模块 (CS-AFM) 在不同模态之间有效地整合和融合特征，提高了交叉模态特征在低层的融合，使得高层可以采用单支路网络，从而实现更快速和准确的预测，并在 RGB-D/T/P 语义分割任务中验证了其效果和高效性。

Jul, 2024

本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

Aug, 2023

利用多模态融合可以使语义分割更具鲁棒性，但是融合任意数量的模态仍未被探索，因此我们创建了 DelIVER 任意模态分割基准，并提供了四种恶劣天气条件和五种传感器故障情况的数据集，以利用模态互补性和解决局部故障。我们提出了交叉模态分割模型 CMNeXt，它包含一个自查询中心设计来从任何模态中提取有效信息，并添加每增加一个模态只有可以忽略的参数量。在多项基准测试中，我们的方法在 DelIVER，KITTI-360，MFNet，NYU Depth V2，UrbanLF 和 MCubeS 数据集上均取得了最先进的性能。

Mar, 2023

通过解耦可视目标跟踪为三个不同层次的组成部分，我们提出了一种名为 X-Net 的新型模态协助网络，用于学习鲁棒的多模态特征表示，解决 RGB 和热模态之间巨大差异带来的特征学习障碍，并改善跟踪性能。

Dec, 2023

利用跨模态语义指导多模态特征的融合和解码，提出了一种新的方法以控制相对熵，具有共享和特定的表示法以及跨层自我监督，并基于质量适应模态贡献的 all-round attentive fusion 和 course-to-fine decoder 两部分解码器，提高特征可辨别性和系统的表现。

May, 2023

本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

Dec, 2019

我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过 2D 到 3D 融合和 3D 到 2D 融合显式和隐式增强了 3D 特征，并通过从 2D 网络到 3D 网络的蒸馏传递 2D 知识，使得 3D 网络能够根据 3D LIDAR 输入生成 2D 信息，无需在推理过程中使用 RGB 图像。我们的 CMDFusion 在 SemanticKITTI 和 nuScenes 数据集上表现出了最佳性能。

Jul, 2023

该文章提出了 RXFOOD 方法，利用能量交换模块实现不同分支以及不同尺度之间的特征融合，提升 object detection 的效果。经实验证明，该方法对 RGB-NIR 融合、RGB-D 融合及 RGBFrequency 图像操作检测均具有明显的有效性。

Jun, 2023