一个广义的多模型融合检测框架
本文章提出了一种基于感知信息的多传感器融合策略(PMF),用于自动驾驶等应用中的 3D LiDAR 语义分割,通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性,实验结果证明了该方法的优越性。
Jun, 2021
提出一种新的中级多模态融合(mmFUSION)方法,通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合,实现了精确的自动驾驶系统中的三维目标检测。
Nov, 2023
本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法,通过将相机特征转换为 LiDAR 3D 空间,在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力,在 KITTI 基准中超越了所有已发表的算法。
Oct, 2022
本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign,提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型,实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进,表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能,可公开获取代码
Mar, 2022
VoxelNextFusion 是一种多模态的三维物体检测框架,通过有效地融合稀疏点云和密集图像之间的信息,解决了现有基于体素方法在稀疏和密集特征融合上的问题,从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。
Jan, 2024
本文提出了一种基于多视角融合的 3D 目标检测网络,结合了激光雷达鸟瞰视角、激光雷达距离视角和相机视角图像,使用注意力机制和额外任务优化点特征和结构信息,有效地实现了多视角特征的适应性融合,该网络在 KITTI 3D 目标检测数据集上的表现令人满意。
Nov, 2020
本文提出了一种基于多模态融合的三维车辆检测方法,使用图像信息有效降低了假阳性,具有快速检测速度;通过基于通道注意力机制的多模态自适应特征融合模块,实现了对不同模态特征的自适应调节和融合技术的适应性,实验结果表明该方法能够过滤掉更多的假阳性,并在 KITTI 基准测试中获得了最快速度和更好的性能。
Sep, 2020
提出 MMF-Track,一种多模态多级融合跟踪器,利用点云的几何和图像纹理特征跟踪 3D 目标,在 KITTI 上实现了最先进的性能表现,并在 NuScenes 上具有竞争力。
May, 2023
提出了基于 Dense Voxel Fusion 的序列融合方法,该方法对于自主车辆应用中的 3D 物体检测具有重要意义。通过直接使用地面真实 3D 边界框标签进行训练,避免使用嘈杂的、特定于检测器的 2D 预测。DVF 在 KITTI 3D 汽车检测基准测试中排名第三,且不引入额外的可训练参数,也不需要使用立体图像或密集深度标签。此外,在 Waymo 开放数据集上,DVF 显著提高了基于体素的方法在 3D 车辆检测方面的性能。
Mar, 2022
DeepFusion 提出了一种模块化的多模态架构,用于融合 lidar,相机和雷达以进行 3D 物体检测,实验结果证明了其灵活性和有效性,并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。
Sep, 2022