Jun, 2021

FusionPainting: 多模态融合的自适应注意力应用于 3D 物体检测

PDF
TL;DR提出了一个称为 “FusionPainting” 的多模态融合框架，它可以在语义级别上融合 2D RGB 图像和 3D 点云以提高 3D 障碍物检测性能，并在 nuScenes 检测基准测试中显示出优于其他现有方法的性能。
发现论文，激发创造
  • 点云画法：用于三维物体检测的连续融合技术

    本文提出了一种名为 PointPainting 的新型传感器数据融合方法，该方法通过将激光雷达点云数据映射到图像上，并将类别分数附加到每个点云中，从而得出了最新的 KITTI 数据集鸟瞰检测任务的状态。

    Nov, 2019

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • 使用语义通信网络提升 3D 物体检测的绘制与精简方法

    本文提出了一种名为 SPNet 的新型语义传递框架，它使用丰富的上下文绘制来提高现有基于 lidar 的 3D 检测模型的性能，通过知识传递模块在不同的粒度上指导纯 lidar 网络学习经过语义渲染的表示，可以与大多数现有的 3D 检测框架无缝协作，在 KITTI 测试基准上甚至实现了新的 3D 检测性能最佳水平。

    Jul, 2022

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架

    VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。

    Jan, 2024

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023