CSFNet: 用于驾驶场景实时 RGB-X 语义分割的余弦相似度融合网络

Jul, 2024

CSFNet: 用于驾驶场景实时 RGB-X 语义分割的余弦相似度融合网络

CSFNet: A Cosine Similarity Fusion Network for Real-Time RGB-X Semantic Segmentation of Driving Scenes

Danial Qashqai, Emad Mousavian, Shahriar Baradaran Shokouhi, Sattar Mirzakuchaki

TL;DR本研究提出了余弦相似度融合网络 (CSFNet) 作为实时的 RGB-X 语义分割模型，通过设计余弦相似度注意力融合模块 (CS-AFM) 在不同模态之间有效地整合和融合特征，提高了交叉模态特征在低层的融合，使得高层可以采用单支路网络，从而实现更快速和准确的预测，并在 RGB-D/T/P 语义分割任务中验证了其效果和高效性。

Abstract

semantic segmentation, as a crucial component of complex visual interpretation, plays a fundamental role in autonomous vehicle vision systems. Recent studies have significantly improved the accuracy of semantic segmentation by exploiting complementary information and developing multimo

semantic segmentation multimodal methods cosine similarity fusion network real-time rgb-x semantic segmentation model computational complexity

发现论文，激发创造

基于注意力机制的多模态融合网络用于场景语义补全

本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

Mar, 2020

基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

Feb, 2020

基于空间融合网络的实时语义分割

本文提出了一种高效的 CNN 方法 ——MSFNet，它利用类边界监督和多特征融合模块来实现实时语义分割，并在 Cityscapes 和 Camvid 数据集上得到了比现有方法更好的结果。

Nov, 2019

(AF) 2-S3Net: 基于自适应特征选择的注意力特征融合稀疏语义分割网络

本文介绍了一种基于 AF2-S3Net 的端到端编解码 CNN 网络，用于 3D LiDAR 语义分割，并在大规模 SemanticKITTI 基准测试上展示了其优越性能。

Feb, 2021

CMX: 基于 Transformer 的 RGB-X 语义分割的跨模态融合

本文提出了一种基于转换器的跨模态融合框架 CMX，用于针对自主车辆的 RGB-X 语义分割，结果表明 CMX 可以推广到不同的感知模态，并实现在多个基准数据集上的最新技术性能。

Mar, 2022

重新审视现实世界自主驾驶的多模态三维语义分割

CPGNet-LCF 是一个新的多模态融合框架，通过继承 CPGNet 的易于部署和实时能力来解决合并 LiDAR 和相机之间弱校准的挑战，在训练过程中引入一种新颖的弱校准知识蒸馏策略以提高其对弱校准的鲁棒性，实现了在 nuScenes 和 SemanticKITTI 基准测试上的最先进性能，并且可在单个 Tesla V100 GPU 上以 20ms 每帧的速度运行，进一步展示了我们提出的方法的鲁棒性。

Oct, 2023

基于不确定性感知对称网络的快速道路分割

本文提出了一种基于证据理论的不确定性感知对称网络（USNet），通过完全融合 RGB 和深度数据，折衷速度和准确性。实验结果表明，该方法以 43+ FPS 的实时推理速度实现了最先进的接近 100% 的准确性。

Mar, 2022

通过挖掘跨模态语义实现目标分割

利用跨模态语义指导多模态特征的融合和解码，提出了一种新的方法以控制相对熵，具有共享和特定的表示法以及跨层自我监督，并基于质量适应模态贡献的 all-round attentive fusion 和 course-to-fine decoder 两部分解码器，提高特征可辨别性和系统的表现。

May, 2023

S$^3$M-Net: 自主驾驶中语义分割与立体匹配的联合学习

本文介绍了一种新的联合学习框架 S^3M-Net，用于同时进行语义分割和立体匹配，通过特征共享和融合来提高整体场景理解能力，通过最小化语义一致性引导损失来训练整个联合学习框架，在 vKITTI2 和 KITTI 数据集上进行实验，证明了该框架的有效性和超越其他单任务网络的性能。

Jan, 2024

RGB - 热图像残差空间融合网络用于语义分割

本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

Jun, 2023