RGB-Thermal 语义分割中存在模态间信息交叉污染问题，本文提出了一种基于信道和空间关系传播网络（CSRPNet）的解决方案，通过在信道和空间维度进行关系传播，捕捉 RGB 和热成像图像的模态共享特征，并通过增强输入特征的方式解决了信息污染问题。同时，引入了双路径级联特征细化模块来进行多层特征聚合，产生用于语义和边界预测的两个细化特征。大量实验证明，CSRPNet 在各方面优于现有的算法。

Aug, 2023

本研究提出了一种基于变分推断的概率融合网络（VPFNet），采用随机特征样本平均，引入加权交叉熵损失函数、光照和类别先验信息，应对 RGB 和热红外图像融合语义分割中的模态噪声、类不平衡和模态偏差问题，在 MFNet 和 PST900 数据集上实验结果显示该网络取得了最佳的分割性能。

Jul, 2023

本研究探讨了一种利用 VFM 特征进行 RGB - 热像场景解析的可行策略，设计了一个混合的非对称编码器，结合了 VFM 和卷积神经网络，通过逐步融合互补的异构特征，并引入辅助任务来改善解析性能，最终实现优于所有其他现有 RGB - 热像场景解析网络的性能。

Apr, 2024

本文提出了一种双阶段特征增强注意力网络，用于 RGB-T 语义分割任务，可在保留空间信息的同时提高时间效率，并在城市场景数据集上优于其他 SOTA 的 RGB-T 方法。

Oct, 2021

我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无需额外计算开销。性能评估和消融研究结果表明，与现有的最先进方法相比，该方法取得了卓越的性能。

Sep, 2023

本文提出了一种采用互补的随机掩膜策略和自我蒸馏损失函数的 RGB-thermal 语义分割方法，能够减少对单一模态的依赖，并从单一或互补掩膜模态中提取互补的而有意义的表示，从而在复杂的天气和光照条件下实现可靠的语义场景理解。

Mar, 2023

本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

Feb, 2020

本文提出了一种高效的 CNN 方法 ——MSFNet，它利用类边界监督和多特征融合模块来实现实时语义分割，并在 Cityscapes 和 Camvid 数据集上得到了比现有方法更好的结果。

Nov, 2019

提出一种边缘感知融合引导网络（EGFNet）用于 RGB 热场景解析，在 RGB 和热图像上生成先验边缘映射捕捉详细信息，使用多模态融合模块来融合 RGB 和热信息，使用全局信息和语义信息模块提取高层次特征的语义信息，应用多任务深度监督来提高解析准确性，实验结果表明 EGFNet 是优于现有方法的。

Dec, 2021

本文提出了一种底层交互式融合结构来建模编码器之间的相互依赖关系，其中引入了交互流来互联编码器，并求解编码器的互补特征。基于这种结构，本文提出了 RGB-D 语义分割的深度多模态网络 RFBNet，并通过两个数据集的实验验证了这种方法达到的最新成果。

Jun, 2019