Oct, 2023

ODM3D：缓解前景稀疏性以提升半监督单目三维物体检测

PDF
TL;DR通过半监督学习，利用大量未标记的数据，我们提出了 ODM3D 框架，通过跨模态知识蒸馏和新增的数据增强策略来提高单眼 3D 物体检测器的性能，取得了在 KITTI 验证和测试基准上的第一名成绩，显著超过所有现有的单眼方法（监督或半监督）在 BEV 和 3D 检测指标上。
monocular 3d object detectionsemi-supervised learningodm3d frameworkknowledge distillationcross-modal object-wise data augmentation
发现论文，激发创造
  • 单视图弱监督单目 3D 检测

    利用深度信息，无需任何三维标注或其他训练数据，SKD-WM3D 提出了一种弱监督的单目三维检测框架，通过融合深度信息将图像特征转化为三维表示，有效地消除了单目场景中的深度歧义。实验证明，SKD-WM3D 明显超过了最先进的方法，甚至与许多全监督方法相媲美。

    Feb, 2024

  • SGM3D: 双目引导下的单目三维物体检测

    本文提出了一种名为 SGM3D 的新方法，通过引入多粒度域自适应和基于 IoU 匹配的对齐方法，将立体 3D 特征适应到单眼检测中，显著提高了检测性能。实验证明，该方法在 KITTI 和 Lyft 数据集上取得了最先进的结果。

    Dec, 2021

  • 单目三维物体检测中的占据学习

    本文提出了一种基于 OccupancyM3D 的单眼 3D 检测方法，通过利用同步的稀疏 LiDAR 点云，直接在截锥体和 3D 空间中学习占用情况，从而生成具有更强区分性和信息性的 3D 特征和表示，并通过占用预测来增强原始的截锥体 / 3D 特征，经 KITTI 和 Waymo 数据集实验结果表明，该方法达到了新的最佳表现，并远远超过了其他方法。

    May, 2023

  • WeakM3D：面向弱监督的单目三维物体检测

    本文介绍了一种采用弱监督学习的单目三维目标检测方法，该方法利用生成的二维框选择对应的区域兴趣 LiDAR 点作为弱监督信号，并通过网络预测可以紧密对齐相应区域兴趣 LiDAR 点的三维框，从而消除了对三维框标注的依赖。

    Mar, 2022

  • SSC3OD：基于稀疏监督的 LiDAR 点云协同式稀疏立体物体检测

    提出了一个仅需要每个代理程序标记场景中一个对象的稀疏监督协作三维物体检测框架 (SSC3OD)，该框架由 Pillar-MAE 模块和 instance mining 模块组成，旨在自我监督地推理高级语义，并在线生成高质量伪标签以改善不完整注释的影响，实验表明 SSC3OD 可以有效地提高协作三维物体检测器的性能。

    Jul, 2023

  • 使用几何约束嵌入和半监督训练的单目 3D 检测

    KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

    Sep, 2020

  • 激光雷达引导半监督主动学习的单目三维物体检测

    本文提出了一种新颖的半监督主动学习 (SSAL) 框架，用于配备了激光雷达的单目 3D 物体检测，利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练，不在推理阶段引入任何开销，并采用半监督学习中的激光雷达教师，单目学生交叉模态框架，用于从未标记数据中蒸馏信息作为伪标签，以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案，同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验，验证了所提出方法的有效性。具体来说，所提出的选择策略在成本节省方面始终优于现有主动学习基线，在标签成本上节约了高达 17% 的成本；训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩，将 BEV 平均精度提高了 2.02。

    Jul, 2023

  • 多样性很重要：充分利用深度线索实现可靠的单目三维物体检测

    本文提出了一种基于单张图像深度估计的 3D 物体检测方法，该方法利用细节和多个子任务提取视觉线索并生成多个深度估计值，再通过深度选择和组合策略得到单个深度估计值以提高精度和鲁棒性，在 KITTI 3D 物体检测基准测试中的表现甚至比当前最佳方法都要超过 20%。

    May, 2022

  • OCM3D：基于物体的单目三维物体检测

    本文提出了一种适用于单目三维目标检测的新型基于物体的体素表示法，能够有效地组织噪点云在体素网格内，并能够精确定位对象在三维空间中的位置。通过考虑三维物体与相关二维框之间的关系，我们将单目三维目标检测中的置信度机制进行了分解，并在 KITTI 数据集上进行了评估，性能显著优于现有技术。

    Apr, 2021

  • 单目 3D 物体检测的跨模态知识蒸馏网络

    本研究提出了一种基于 Cross-Modality Knowledge Distillation (CMKD) 的半监督训练框架，通过跨模态知识蒸馏能够从大规模未标记数据中有效传输 LiDAR 模态到图像模态的知识，从而显著提高单目三维检测性能，使得该方法在 KITTI 测试集和 Waymo 验证集上的表现明显优于先前最先进的方法。

    Nov, 2022