ICCVOct, 2019

FuseMODNet: 基于摄像头和激光雷达的实时低光照强壮自动驾驶移动物体检测

PDF
TL;DR本文提出了一种基于卷积神经网络（CNN）的方法，利用相机和 LiDAR 传感器的运动信息来检测移动物体，以应对低光条件下的自动驾驶车辆中的移动对象检测问题，并在 KITTI 数据集上进行了验证。
moving object detectionautonomous vehicleslidar sensorscnn architecturelow-light conditions
发现论文，激发创造
  • MODNet: 具备运动和外观的自动行驶移动物体检测网络

    该文章提出了一种新型的多任务学习系统，将外观和运动线索相结合，以更好地对环境进行语义推理，其中介绍了一种联合车辆检测和运动分割的统一架构，并使用 KITTI 数据集评估了该方法，在运动检测任务上的性能优于其他利用运动线索方法 21.5％，在通用物体分割任务上表现与现有的无监督方法相当，其中一个有趣的结论是运动分割与车辆检测的联合训练有益于运动分割

    Sep, 2017

  • FisheyeMODNet: 自动驾驶周视摄像头上的移动物体检测

    本研究提出一种卷积神经网络模型，用于使用自主驾驶环境中捕获的鱼眼图像进行运动物体检测，并设计了一个轻量级编码器来实现嵌入式部署。

    Aug, 2019

  • 自动驾驶中的多目标跟踪与摄像头激光融合

    本文提出了一种新颖的多模态多目标跟踪算法，用于自动驾驶汽车，该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧，以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的动态障碍物运动的扩展卡尔曼滤波器，以及轨迹管理阶段组成。与大多数先进的多模态目标跟踪方法不同，该算法不依赖地图或车辆全局姿态的知识。此外，它专门针对相机使用 3D 检测器，并且对使用的 LiDAR 传感器类型不敏感。该算法在仿真环境和实际数据中进行验证，并且结果令人满意。

    Mar, 2024

  • 无人驾驶实时交通物体检测

    近期，随着计算机视觉的不断进步，自动驾驶很可能很快将成为现代社会的一部分。然而，仍然有许多需要解决的问题。本研究评估了我们先前提出的高效行人检测器 LSFM 在多样化的天气条件和夜间场景等经典自动驾驶测试中的稳健性，并将其扩展应用于交通场景中实时物体检测，同时提出了适用于自动驾驶的更合适的实时性能指标。

    Jan, 2024

  • 深度激光雷达卷积神经网络用于理解运动车辆的动态

    本文提出了一种用于理解场景中运动车辆动态的新方法，该方法通过设计卷积神经网络 (CNN)，并在训练期间引入一系列所谓的 “预文本任务”，以消除自我运动和外部车辆运动的混淆。我们在测试阶段使用 lidar 扫描的连续对来试验该系统，并在训练期间将形象信息开以提高系统推理结果精度。

    Aug, 2018

  • 基于相机 - LiDAR 融合的自动驾驶多目标检测与跟踪

    本文提出了一种有效的多模态 MOT 框架，包括使用 2D 和 3D 测量的联合目标检测和关联的端到端深度神经网络、用于计算 3D 空间中遮挡感知的外观和运动相似度的有效计算模块、以及联合优化检测置信度、相似度和开始 - 结束概率的综合数据关联模块，实验证明所提出方法在跟踪精度和处理速度方面优于 KITTI 跟踪基准。

    Aug, 2021

  • 智能选择：自适应多模态融合在不稳定环境下的物体检测

    我们提出了一种自适应融合方法，使用多种传感器，通过卷积神经网络专家的混合来学习权衡不同传感器的预测，该方法可适应于不同光照和摄像机运动模糊等影响。我们测试了该方法在室内和室外的人体检测，并证明了其可适应困难环境，同时，我们还提出了一个新的混合室内外环境中的 RGB-D 数据集，可供参考。

    Jul, 2017

  • 无盲区：使用相机和激光雷达进行全方位多目标自动驾驶跟踪

    本文提出了一种多模态传感器模块化框架，用于实现在线多目标追踪，并对该方法进行了实验证明其在真实场景下对自主驾驶领域有重要的应用。

    Feb, 2018

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023