Aug, 2023

多模态多任务 (3MT) 道路分割

PDF
TL;DR该研究提出了一种成本效益高且精确的道路分割解决方案，通过在多任务学习架构中整合来自多个传感器的数据，利用多模态系统比单模态系统能够产生更可靠的结果，使用原始传感器输入而非高预处理成本的架构，同时将 RGB 和 LiDAR 深度图像作为网络的输入，与 IMU/GNSS 惯性导航系统数据进行聚合，实验证明该方法在 KITTI 数据集和 Cityscapes 数据集上都取得了快速且高性能的解决方案，可以与不同的传感器模态一起使用，推理时间非常适合实时实验。
发现论文，激发创造
  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 一种简单高效的用于 3D 目标检测和道路理解的多任务网络

    本文提出了一种基于 LiDAR 传感器和多任务网络的感知系统，用于自主驾驶中的目标检测和道路识别，取得了良好的实验效果和在线定位能力。

    Mar, 2021

  • InfraDet3D：基于路侧基础设施摄像机和激光雷达传感器的多模态三维物体检测

    本文介绍了一种新的基础设施传感器的多模 3D 物体检测器 InfraDet3D，有效结合了两个 LiDAR 和单目相机数据，通过早期融合方法提高检测效果，并将 HD 地图应用于单目 3D 检测模块，以提升其最终的感知结果；该系统在德国慕尼黑的 A9 测试区域进行了实际部署和评估，得到了 68.48 的 mAP 测试结果，同时数据集和代码也提供给研究社区进行进一步的研究。

    Apr, 2023

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • FULLER: 统一的多模态多任务三维感知通过多级梯度校准

    多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之间进行优化。实验证明了该方法的有效性。

    Jul, 2023

  • 自动驾驶感知的多模态传感器融合技术综述

    本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

    Feb, 2022

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 鲁棒性多模态多目标追踪

    该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。

    Sep, 2019