使用多视角投影和方向一致性进行弱监督单目 3D 对象检测

CVPRMar, 2023

使用多视角投影和方向一致性进行弱监督单目 3D 对象检测

Weakly Supervised Monocular 3D Object Detection using Multi-View Projection and Direction Consistency

Runzhou Tao, Wencheng Han, Zhongying Qiu, Cheng-zhong Xu, Jianbing Shen

TL;DR本文提出了一种基于弱监督学习的单目 3D 物体检测方法，该方法只使用图像上标记的 2D 标签进行模型训练，并探索了投影、多视图和方向这三种不同类型的一致性约束以及设计了一种新的 2D 方向标记方法用于准确的旋转方向预测。实验证明，该方法在一些完全监督方法上具有可比较的性能，并且当用作预训练方法时，仅使用 1 / 3 3D 标签就可以显着优于对应的完全监督基线。

Abstract

monocular 3d object detection has become a mainstream approach in automatic driving for its easy application. A prominent advantage is that it does not need LiDAR point clouds during the inference. However, most current methods still rely on 3D point cloud data for labeling the ground

monocular 3d object detection weakly supervised learning 2d labels consistency constraints rotation direction prediction

发现论文，激发创造

WeakM3D：面向弱监督的单目三维物体检测

本文介绍了一种采用弱监督学习的单目三维目标检测方法，该方法利用生成的二维框选择对应的区域兴趣 LiDAR 点作为弱监督信号，并通过网络预测可以紧密对齐相应区域兴趣 LiDAR 点的三维框，从而消除了对三维框标注的依赖。

Mar, 2022

多层次视觉引导的弱监督 3D 目标检测

对于弱监督的三维物体检测任务，本文提出了一种框架来研究如何在无需任何三维标签的情况下利用二维和三维领域之间的约束，通过三种视角的视觉数据建立二维和三维领域之间的关联。实验证明，在无需使用任何三维标签的情况下，该方法在 KITTI 数据集上取得了与最先进方法相媲美的性能。

Dec, 2023

视角到标签：自监督三维物体检测的多视角一致性

提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法，其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。

May, 2023

单视图弱监督单目 3D 检测

利用深度信息，无需任何三维标注或其他训练数据，SKD-WM3D 提出了一种弱监督的单目三维检测框架，通过融合深度信息将图像特征转化为三维表示，有效地消除了单目场景中的深度歧义。实验证明，SKD-WM3D 明显超过了最先进的方法，甚至与许多全监督方法相媲美。

Feb, 2024

基于点云的弱监督三维物体检测

本文提出 VS3D，一个从点云中弱监督学习的 3D 目标检测框架，其中引入了无监督的 3D proposal 模块和跨模态知识蒸馏策略，在 KITTI 数据集上取得了优异的性能。

Jul, 2020

基于 Lidar 点云的弱监督三维物体检测

本文提出一种基于弱监督学习的 3D 物体检测方法，只需要少量弱标记场景和少量精确标记的物体实例来训练，而且使用该方法训练的模型可以作为 3D 物体注释器使用，并显示出提高性能的潜力。

Jul, 2020

野外多视角图像下的弱监督 3D 人体姿态学习

本文提出一种基于弱监督方式，利用多视角数据进行 3D 人体姿势估计的学习框架，包括利用 2.5D 表示法的目标函数，经过测试在两个大规模数据集上达到了半监督 / 弱监督方法的最佳表现。

Mar, 2020

基于激光雷达点云辅助的单目三维物体检测

通过使用粗略标签和无标签雷达点云伪标签，LPCG 可以在自动驾驶系统中显著降低标注成本或显著提高检测准确性，在 KITTI 基准测试和 Waymo 基准测试中都取得了很好的效果。

Apr, 2021

使用几何约束嵌入和半监督训练的单目 3D 检测

KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

Sep, 2020

自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

Sep, 2023