Jul, 2023

激光雷达引导半监督主动学习的单目三维物体检测

PDF
TL;DR本文提出了一种新颖的半监督主动学习 (SSAL) 框架，用于配备了激光雷达的单目 3D 物体检测，利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练，不在推理阶段引入任何开销，并采用半监督学习中的激光雷达教师，单目学生交叉模态框架，用于从未标记数据中蒸馏信息作为伪标签，以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案，同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验，验证了所提出方法的有效性。具体来说，所提出的选择策略在成本节省方面始终优于现有主动学习基线，在标签成本上节约了高达 17% 的成本；训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩，将 BEV 平均精度提高了 2.02。
semi-supervised learninglidarmonocular 3d object detectionactive learningsensor consistency-based selection score
发现论文，激发创造
  • 基于激光雷达点云辅助的单目三维物体检测

    通过使用粗略标签和无标签雷达点云伪标签，LPCG 可以在自动驾驶系统中显著降低标注成本或显著提高检测准确性，在 KITTI 基准测试和 Waymo 基准测试中都取得了很好的效果。

    Apr, 2021

  • 视角到标签：自监督三维物体检测的多视角一致性

    提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法，其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。

    May, 2023

  • 用深度主动学习高效训练 LiDAR 三维物体检测器

    本研究提出了一种主动学习的方法，通过使用 RGB 图像生成的 2D 区域提案来减少目标搜索空间并加快学习过程，从而训练一个具有最少标记训练数据的 LiDAR 3D 目标检测器。实验结果表明，该方法在不同的不确定性估计和查询功能下都能正常工作，并可以节省多达 60% 的标注工作量，同时达到相同的网络性能。

    Jan, 2019

  • 多层次视觉引导的弱监督 3D 目标检测

    对于弱监督的三维物体检测任务，本文提出了一种框架来研究如何在无需任何三维标签的情况下利用二维和三维领域之间的约束，通过三种视角的视觉数据建立二维和三维领域之间的关联。实验证明，在无需使用任何三维标签的情况下，该方法在 KITTI 数据集上取得了与最先进方法相媲美的性能。

    Dec, 2023

  • 基于伪激光雷达点云的单目 3D 目标检测

    提升单目深度学习算法中对于三维场景物体检测的表现，通过伪 LIDAR 点云实现与 LIDAR 算法的融合，最终在 KITTI 基准测试中取得了最优结果。

    Mar, 2019

  • ODM3D：缓解前景稀疏性以提升半监督单目三维物体检测

    通过半监督学习，利用大量未标记的数据，我们提出了 ODM3D 框架，通过跨模态知识蒸馏和新增的数据增强策略来提高单眼 3D 物体检测器的性能，取得了在 KITTI 验证和测试基准上的第一名成绩，显著超过所有现有的单眼方法（监督或半监督）在 BEV 和 3D 检测指标上。

    Oct, 2023

  • 合作监督的力量：增强的三维半监督目标检测的多教师框架

    为了确保自主驾驶平台的安全行驶，除了开发高性能的物体检测技术外，还需要建立一个反映各种城市环境和物体特征的多样化和代表性的数据集。为了解决这两个问题，我们构建了一个多类别的 3D LiDAR 数据集，反映了多样化的城市环境和物体特征，并开发了基于多个教师框架的强大的 3D 半监督目标检测器。我们提出了一种简单而有效的增强技术，基于饼状点补偿（PieAug）的增强，以使教师网络生成高质量的伪标签。对 WOD、KITTI 和我们的数据集进行的大量实验验证了我们提出的方法的有效性和数据集的质量。实验结果表明，我们的方法始终优于现有的最先进的 3D 半监督目标检测方法。我们计划在不久的将来在我们的 Github 存储库上发布我们的多类别 LiDAR 数据集和源代码。

    May, 2024

  • 半监督学习在动态场景三维 LiDAR 数据语义分割中的应用

    本文研究在自动驾驶应用中对动态场景中的 3D LiDAR 数据进行语义分割。通过使用 3D LiDAR 数据，构建了一个包括范围图像分割、样本生成、数据关联、跟踪级别注释和半监督学习等方面的语义分割系统，使用半监督学习并结合约束数据和少量标注数据对 CNN 分类器进行训练，设计了一种特殊的损失函数，其中鼓励将约束数据分配到同一语义类别。实验表明，少量标注和大量约束数据的组合显著提高了该方法的有效性和场景适应性，效果比以往的方法提高了 10% 以上。

    Sep, 2018

  • 高级相机 - LiDAR 融合与机器学习的 3D 物体检测

    本研究提出了一种使用单目摄像头和 LiDAR 数据结合的机器学习技术，通过以国际排名领先的二维物体探测器生成的锥体区域来分割 LiDAR 点云，从而检测运动平台周围的车辆的 3D 边界框参数， 最终验证集准确率达到 87.1％。

    May, 2021

  • 基于单目摄像机和单线激光雷达的大规模场景弱监督三维多人姿态估计

    本文提出了一种基于单目摄像头和单个 LiDAR 的方法，用于大规模场景下的 3D 多人姿态估计。通过设计一种有效的多模态融合策略，并充分利用时间信息来指导网络学习自然和连贯的人类运动，以点云的固有几何约束为自我监督，用图像上的 2D 特征点进行弱监督，无需依赖于任何 3D 姿态注释。实验结果表明了该方法的优越性和泛化能力。

    Nov, 2022