MonoRUn: 单目三维物体检测通过重建和不确定性传播

CVPRMar, 2021

MonoRUn: 单目三维物体检测通过重建和不确定性传播

MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation

Hansheng Chen, Yuyao Huang, Wei Tian, Zhong Gao, Lu Xiong

TL;DR提出了一种名为 MonoRUn 的检测框架，该框架通过自我监督学习，仅使用简单的三维边界框注释学习密集的对应关系和几何学，并利用不确定性感知的区域重建网络来回归像素相关的三维目标坐标，并利用预测的不确定性通过整个下游模块，实现对象姿态的估计和协方差，实验表明该方法在 KITTI 基准测试中优于当前最先进的方法。

Abstract

Object localization in 3D space is a challenging aspect in monocular 3D object detection. Recent advances in 6DoF pose estimation have shown that predicting dense 2D-3D correspondence maps between image and object 3D model and then estimating object pose via Perspective-n-Point (PnP) algorithm can achieve remarkable localization accuracy. Yet these methods r

3d object localization dense correspondence self-supervised learning uncertainty awareness object pose estimation

发现论文，激发创造

利用精准提议和形状重建的单目 3D 物体检测

MonoPSR 是一种使用神经网络利用提议和形状重建的单目三维物体检测方法，该方法在 KITTI 基准测试中取得了最新的最优结果。

Apr, 2019

MonoPair: 使用成对空间关系的单目 3D 物体检测

本文提出了一种考虑成对样本关系来改进单目三维物体检测的方法，包括计算对象对之间的不确定性感知预测和利用非线性最小二乘方法对其进行优化，实验结果表明，该方法在 KITTI 三维检测基准测试中表现最佳。

Mar, 2020

M3D-RPN: 单目三维区域建议网络用于目标检测

本研究提出了一种基于几何关系的 monocular 三维物体检测方法，通过单独的三维区域建议网络和深度感知卷积层，能够有效地改善基于图像的三维物体检测在自动驾驶领域中的表现。在 KITTI 数据集上，与其他之前的方法相比，M3D-RPN 方法在单眼三维物体检测和俯视图检测任务中都表现出显著的性能提升。

Jul, 2019

MonoLoco: 单目 3D 行人定位与不确定性估计

通过使用 Laplace 分布的损失函数，预测置信区间，设计了一种轻量级前馈神经网络，可以从 2D 人体姿势中预测出 3D 位置和对应的置信区间。该方法不仅在 KITTI 和 nuScenes 数据集上超过了最先进的结果，而且在远处行人的情况下，甚至超过了基于立体视觉的方法，并且可以估算有意义的置信区间。

Jun, 2019

自监督的单目可微渲染用于 3D 物体检测

本研究提出了一种基于自监督的方法，利用强形状先验和二维实例掩模来重建带纹理的三维物体并进行姿态估计，通过可微分渲染和先前预训练的单目深度估计网络推断图像中每个物体的三维位置和网格信息，实验结果表明本方法有效地利用嘈杂的单目深度和可微分渲染来代替昂贵的 3D 地面真值标签或激光雷达信息。

Sep, 2020

通过嵌入颜色的三维重建实现精确的单目物体检测，用于自动驾驶

本文提出了一种自动驾驶中单目三维物体检测框架，着重解决了二维图像数据的不足，通过将输入数据从二维图像平面转换为三维点云空间进行处理，并使用 PointNet 网络进行三维检测，以提高点云的辨别能力，同时利用多模态融合模块将 RGB 颜色信息融入点云表示，证明了在三维空间中推断三维包围盒比在二维图像平面中更加有效，经过在 KITTI 数据集上的评估，该方法的表现超过现有最新的单目方法。

Mar, 2019

使用几何约束嵌入和半监督训练的单目 3D 检测

KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

Sep, 2020

Self6D: 自监督单目 6D 物体姿态估计

使用无监督学习的方法进行单眼 RGB 数据下的 6D 物体位姿估计，作者训练了一个神经网络模型，通过真实 RGB-D 数据的自监督模式来提高模型的性能表现，并证明了该方法能够显著地优化模型的性能，超过了其他使用合成数据或领域适应技术的方法。

Apr, 2020

自监督三维人体姿态估计的不确定性自适应

本文研究了基于单目视觉技术的 3D 人体姿势估计问题，提出利用无监督域自适应方法，引入包含两个输出头的 MRP-Net 网络，利用预测不确定性实现模型适应和泛化，并取得了在各项基准测试中的最优性能。

Mar, 2022

GUPNet++：用于单目三维物体检测的几何不确定性传播网络

通过概率建模几何投影，提出了一种几何不确定性传播网络（GUPNet++），用于改进单目三维物体检测的准确性和可靠性。

Oct, 2023