自适应蒙版融合网络用于可行驶道路和有不可信特征负障碍物分割
本文提出了一种基于证据理论的不确定性感知对称网络(USNet),通过完全融合 RGB 和深度数据,折衷速度和准确性。实验结果表明,该方法以 43+ FPS 的实时推理速度实现了最先进的接近 100% 的准确性。
Mar, 2022
本文提出了一种名为 RFNet 的实时融合语义分割网络,该网络可在自动驾驶汽车应用中快速运行,利用多个数据集进行训练,实现对意外小障碍的识别和面对现实世界中未预见到的危险,达到了显著的分割精度和 22Hz 推理速度。
Feb, 2020
本文提出了一个针对地面移动机器人的可行驶区域和路面异常检测基准,评估了现有单模和数据融合语义分割 CNN 的性能,并提出了一个名为动态融合模块(DFM)的新模块来有效和高效地融合不同类型的视觉特征。实验结果表明,变换视差图是最具信息量的视觉特征,提出的 DFM-RTFNet 在 KITTI 路况基准上表现出色,并在公开数据集上可用。
Mar, 2021
本文提出了一种基于多模态融合的三维车辆检测方法,使用图像信息有效降低了假阳性,具有快速检测速度;通过基于通道注意力机制的多模态自适应特征融合模块,实现了对不同模态特征的自适应调节和融合技术的适应性,实验结果表明该方法能够过滤掉更多的假阳性,并在 KITTI 基准测试中获得了最快速度和更好的性能。
Sep, 2020
提出了一种新的多模态神经网络 UAMD-Net,通过融合双目立体匹配和稀疏点云的弱约束进行深度完善,并使用新的训练策略 Modal-dropout 使得网络能够适应多种模态输入条件,该方法在 KITTI 深度完善基准测试中的实验表明其能够产生鲁棒的结果,并优于其他最先进的方法。
Apr, 2022
本文提出了一种新颖的方法,通过学习框架,识别和整合主导的跨模态深度特征,独立计算粗略深度图,并使用置信度损失和多模态融合网络进行端到端的深度估计,从而在各种困难情景中展示了鲁棒的深度估计能力。
Feb, 2024
本文提出了一个鲁棒性评估基准来评估在各种嘈杂的相机位姿设置下深度估计系统,同时提出了一个自适应融合深度估计系统,通过动态选择两个分支之间的高置信度区域进行融合,以实现鲁棒和准确的深度估计。该方法在鲁棒性测试中优于现有的多视图和融合方法,并在挑战性基准(KITTI 和 DDAD)上实现了最先进的性能,假设具有准确的位姿估计。
Mar, 2024
本文提出了一种名为 AMFNet 的端到端三维卷积网络,用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索,学习同时执行有效的 3D 场景完成和语义分割,验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。
Mar, 2020
提出了一种名为 MaskFuser 的多模态驾驶框架,在统一的语义特征空间中将各种模态标记化,并为进一步行为克隆提供联合表示。通过引入跨模态的掩蔽自编码器训练,增强了融合表示。MaskFuser 在伤害感知输入下提高了驾驶稳定性,并在驾驶得分方面表现优于以往的基线模型。
May, 2024
本研究提出了一种自适应融合网络,利用人脸显著区域的掩码来增强 2D 和 3D 局部特征,通过设计的调制向量自动学习,以及计算重要性权重的新型融合策略可以在卷积层中执行自适应融合。实验结果表明,该方法在 BU-3DFE 和 Bosphorus 数据集上具有最先进的性能并且需要较少的参数。
May, 2022