Nov, 2023

LabelFormer: 基于激光雷达点云的离车感知目标轨迹细化

PDF
TL;DR自动驾驶感知系统训练中的一个主要瓶颈是需要人工标注的监督，而一种有前景的替代方法是利用 “自动标注” 离线感知模型，它能够以较低的成本从原始 LiDAR 点云生成注释。本研究提出了一种简单、高效和有效的轨迹级精化方法 LabelFormer，该方法通过首先单独编码每帧的观测，然后利用自注意力对轨迹进行完整的时间上下文推理，并最终解码出精化的目标尺寸和每帧的位置。在城市和高速公路数据集上的评估表明，LabelFormer 在性能上显著优于现有方法。最后，我们展示了使用我们方法生成的自动标注增强数据集训练的效果，与现有方法相比，下游检测性能得到了改善。
self-driving perception systemsauto-labellinglidarlabelformerrefinement models
发现论文，激发创造
  • 从点云序列进行离线 3D 物体检测

    本文提出了一种使用点云序列数据的离线三维对象检测方法，通过多帧对象检测和新颖的对象中心细化模型利用时间点，实现了高质量的自动化三维对象标注，比当前先进的在线检测器表现更优秀，甚至接近人类标注。

    Mar, 2021

  • DeTra：一个统一模型用于目标检测和轨迹预测

    我们提出了一种名为 DeTra 的模型，它使用 LiDAR 点云和高清地图，通过轨迹精化的方式，直接推断对象的存在、姿态和多模态的未来行为，取得了在 Argoverse 2 Sensor 和 Waymo Open Dataset 上多个指标方面明显优于现有技术的成果，而且各个组件的性能都对整体表现有积极贡献，通过大量消融实验验证了对任务的精化的价值及关键设计选择的作用。

    Jun, 2024

  • 基于占据估计的汽车激光雷达自我监督

    本论文提出一种基于自监督学习的点云深度感知模型预训练方法，通过表面重建预训练任务和基于潜在向量的感知头来抓取表面信息的语义片段并提高对象检测和场景语义分割性能。

    Dec, 2022

  • 自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

    本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

    Sep, 2023

  • 3DSFLabelling: 通过伪自动标注提升三维场景流估计

    通过自动标记生成大量真实 LiDAR 点云的三维场景流伪标签，采用刚体运动假设模拟自治驾驶场景中的潜在物体级刚体运动，通过更新多个锚点框的不同运动属性，获得整个场景的刚体运动分解。在多个真实数据集上测试，方法在无监督和有监督方法中表现出色，无需手动标记。在 LiDAR KITTI 数据集上，我们的方法将 EPE3D 度量值减少了 10 倍，从 0.190 m 降至 0.008 m。

    Feb, 2024

  • TrajectoryFormer：基于预测轨迹假设的三维物体跟踪变换器

    TrajectoryFormer 是一种基于点云的 3D 多目标跟踪 (MOT) 框架，通过使用带有时间预测框和当前帧检测框的多个轨迹假设进行轨迹框关联，结合长期目标运动特征和短期目标外观特征来创建每个假设的特征嵌入，引入全局 - 局部交互模块来模拟所有假设的空间关系，从而达到 Waymo 3D MOT 基准测试中的最佳性能。

    Jun, 2023

  • LPFormer: 多任务网络 LiDAR 姿态估计 Transformer

    本文介绍了一种使用 LiDAR 和 3D 注释的姿势估计方法 LPFormer，该方法使用第一阶段的多级特征表示检测人类边界框并提取特征表示，第二阶段的基于 Transformer 的网络使用这些特征来回归人体关键点，并在 Waymo Open 数据集上获得了最佳性能和改进。

    Jun, 2023

  • 面向无监督的基于 LiDAR 点云的物体检测

    我们研究在自动驾驶场景中从 3D 点云中进行无监督对象检测的问题，提出了一种简单而有效的方法，利用点聚类、时间一致性、CNN 的平移等性质以及自我监督来改进无监督检测算法，通过在非相近区域进行自动标记扩展到远距离，从而实现了零 - shot 方式的对象检测，能够在稀疏、远距离区域进行检测，同时在更多迭代自我训练的过程中不断改进。我们提出了基于碰撞距离的新的规划感知度量来更好地衡量模型在自动驾驶场景中的性能。我们在 PandaSet 和 Argoverse 2 Sensor 数据集上展示了我们的无监督对象检测器显著优于无监督基线的性能，证明了自我监督与对象先验相结合可以实现野外对象发现的潜力。

    Nov, 2023

  • 一种用于机器人大规模 LiDAR 场景解析的高效框架

    本文介绍了一种在有限标签情况下解决点云理解问题的通用简单框架，通过无监督区域扩展的聚类方法生成聚类，并结合地理特征相似性和语义特征相似性在弱标签监督下学习合并过度细分的聚类，以及自监督重建和数据增强优化模块引导标签在场景中语义相似点之间的传播。实验证明，该框架在大规模 3D 语义场景解析的数据效率设置下，在语义分割、实例分割和目标检测等三个重要弱监督点云理解任务中表现最佳，所开发技术还具有对机器人操作和自主导航中的下游任务提供更好表示的潜力。代码和模型可在链接处公开获取。

    Dec, 2023

  • 自监督激光雷达场景流三维物体检测

    本文利用自监督多帧流表示和单帧三维检测假设之间的关系，将自监督训练策略与监督三维检测结合，提出一种利用场景流估计的自监督训练方法来增强三维检测性能的技术。实验表明，所提出的自监督预训练显著提高了三维检测性能。

    May, 2022