Apr, 2024

道路边缘单元的高效标签三维物体检测

PDF
TL;DR通过无监督目标发现来解决数据密集型的自动驾驶安全应用中的遮挡问题，通过深度信息融合与智能路侧单元（RSU）的协同感知来提升自主车辆的感知能力，从而最大程度上减少遮挡的影响，并通过在少量标注数据上微调方法展示其优于或甚至超越完全监督模型的性能差距缩小的能力。
occlusioncollaborative perceptionautonomous drivingdeep information fusionunsupervised object discovery
发现论文，激发创造
  • 面向无监督的基于 LiDAR 点云的物体检测

    我们研究在自动驾驶场景中从 3D 点云中进行无监督对象检测的问题，提出了一种简单而有效的方法，利用点聚类、时间一致性、CNN 的平移等性质以及自我监督来改进无监督检测算法，通过在非相近区域进行自动标记扩展到远距离，从而实现了零 - shot 方式的对象检测，能够在稀疏、远距离区域进行检测，同时在更多迭代自我训练的过程中不断改进。我们提出了基于碰撞距离的新的规划感知度量来更好地衡量模型在自动驾驶场景中的性能。我们在 PandaSet 和 Argoverse 2 Sensor 数据集上展示了我们的无监督对象检测器显著优于无监督基线的性能，证明了自我监督与对象先验相结合可以实现野外对象发现的潜力。

    Nov, 2023

  • 可学习通信的自动驾驶系统协同式三维物体检测

    本文提出一种新的协同三维物体检测框架，通过利用空间分布式传感器所提供的信息来辅助自动驾驶系统中的感知精度，同时避免因事先的通信方案导致通信拥堵和 / 或性能受限的问题。通过两个复杂的驾驶场景的实验结果和带宽使用分析，证明了该方法可以在各种检测困难情况下节省通信和计算成本，并显著提高检测性能。

    May, 2022

  • InfraDet3D：基于路侧基础设施摄像机和激光雷达传感器的多模态三维物体检测

    本文介绍了一种新的基础设施传感器的多模 3D 物体检测器 InfraDet3D，有效结合了两个 LiDAR 和单目相机数据，通过早期融合方法提高检测效果，并将 HD 地图应用于单目 3D 检测模块，以提升其最终的感知结果；该系统在德国慕尼黑的 A9 测试区域进行了实际部署和评估，得到了 68.48 的 mAP 测试结果，同时数据集和代码也提供给研究社区进行进一步的研究。

    Apr, 2023

  • 自动驾驶的 3D 物体检测综述

    本文旨在填补 3D 对象检测在自动驾驶中的知识空白，综述了相关领域的传感器、数据集、性能度量以及最新的检测方法，分析了其优劣，并进行了定量比较和案例研究，最后总结了研究成果和未来发展方向。

    Jun, 2021

  • 视角到标签：自监督三维物体检测的多视角一致性

    提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法，其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。

    May, 2023

  • UNION: 基于物体外观的无监督三维物体检测

    通过使用无监督的三维物体检测方法，利用大量数据而不需要手动标注进行训练，我们提出了一种名为 UNION 的方法，通过空间聚类和自监督场景流来获取来自 LiDAR 的静态和动态物体提案，并通过编码物体提案的视觉外观来区分前景和背景中的静态物体，从而实现联合训练现有检测器的目的。此外，我们使用基于物体外观的聚类标签作为训练物体分类的伪类标签，将三维物体发现扩展到检测任务中。经过在 nuScenes 数据集上进行广泛实验，我们将无监督物体发现的最优性能提高到 33.9，超过当前技术水平的两倍。代码将公开发布。

    May, 2024

  • RSUD20K: 自动驾驶中的道路场景理解数据集

    公路场景理解在自动驾驶中至关重要，使机器能够感知视觉环境。本文介绍了 RSUD20K 数据集，它由来自孟加拉国道路的超过 20K 张高分辨率图像组成，包含 13 种物体的 130K 个边界框注释。我们的工作在以往努力的基础上显著改进，提供了详细的注释和更复杂的物体。我们对数据集进行了全面的研究，对各种最先进的目标检测器进行了基准测试，并探索了大型视觉模型作为图像注释器。

    Jan, 2024

  • VRSO：用于静态物体标注的视觉中心重建

    该论文介绍了 VRSO，一种用于静态物体注释的基于视觉的方法，它使用相机图像作为输入，可以在 3D 空间中恢复静态物体，并基于自动重建和注释流程生成用于静态对象检测任务的 GT，其平均重投影误差仅为 2.6 像素，约为 Waymo 标注的四分之一（10.6 像素）。

    Mar, 2024

  • AGO-Net：基于关联引导的 3D 点云物体检测网络

    通过领域自适应将感知域中的真实场景特征与概念域中的增强场景特征进行关联，提出了一种新的 3D 检测框架，同时引入基于注意力的重加权模块，无需增加推理成本即可利用网络特征增强能力，在 KITTI 3D 检测基准测试中实现了更高的性能。

    Aug, 2022

  • 自动驾驶的 3D 无监督学习：通过提炼 2D 开放词汇分割模型实现

    提出了一种由 2D 开放词汇的分割模型辅助的新型三维无监督框架（UOV），通过学习未标注数据的点云表征，采用了两个阶段：首先，创新地结合了 2D 开放词汇模型的高质量文本和图像特征，提出了三模态对比预训练（TMP）；其次，利用点云和图像之间的空间映射生成伪标签，实现异态知识蒸馏。并引入了近似平面交互（AFI）来解决对齐噪声和标签混淆问题。在多个相关数据集上进行了大量实验证明了 UOV 的优越性，在 nuScenes 的无需标注的点云分割任务上，实现了创纪录的 47.73% 的 mIoU，超过了之前最好模型 10.70% 的 mIoU。同时，在 nuScenes 和 SemanticKITTI 上使用 1% 的数据进行微调，取得了显著的 51.75% 和 48.14% 的 mIoU，超过了所有之前的预训练模型。

    May, 2024