本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

Jun, 2023

本研究提出了一种基于变分推断的概率融合网络（VPFNet），采用随机特征样本平均，引入加权交叉熵损失函数、光照和类别先验信息，应对 RGB 和热红外图像融合语义分割中的模态噪声、类不平衡和模态偏差问题，在 MFNet 和 PST900 数据集上实验结果显示该网络取得了最佳的分割性能。

Jul, 2023

提出一种边缘感知融合引导网络（EGFNet）用于 RGB 热场景解析，在 RGB 和热图像上生成先验边缘映射捕捉详细信息，使用多模态融合模块来融合 RGB 和热信息，使用全局信息和语义信息模块提取高层次特征的语义信息，应用多任务深度监督来提高解析准确性，实验结果表明 EGFNet 是优于现有方法的。

Dec, 2021

我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无需额外计算开销。性能评估和消融研究结果表明，与现有的最先进方法相比，该方法取得了卓越的性能。

Sep, 2023

本研究提出了一种名为质量感知特征聚合网络（FANet）的神经网络架构，用于在恶劣和具有挑战性的条件下使用补充的视觉和热红外数据进行强健的可见光跟踪，并对其进行了广泛的基准数据集实验证明了其与其他最先进的 RGBT 跟踪方法相比较高的准确性表现。

Nov, 2018

多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

Oct, 2023

本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

Mar, 2020

本文提出了一种双阶段特征增强注意力网络，用于 RGB-T 语义分割任务，可在保留空间信息的同时提高时间效率，并在城市场景数据集上优于其他 SOTA 的 RGB-T 方法。

Oct, 2021

本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

Aug, 2021

RGB-Thermal 语义分割中存在模态间信息交叉污染问题，本文提出了一种基于信道和空间关系传播网络（CSRPNet）的解决方案，通过在信道和空间维度进行关系传播，捕捉 RGB 和热成像图像的模态共享特征，并通过增强输入特征的方式解决了信息污染问题。同时，引入了双路径级联特征细化模块来进行多层特征聚合，产生用于语义和边界预测的两个细化特征。大量实验证明，CSRPNet 在各方面优于现有的算法。

Aug, 2023