从点云到多目标三维重建

CVPRDec, 2020

From Points to Multi-Object 3D Reconstruction

Francis Engelmann, Konstantinos Rematas, Bastian Leibe, Vittorio Ferrari

TL;DR本文提出了一种从单一 RGB 图像中检测和重构多个 3D 物体的方法，通过逐步优化检测、对齐和形状重构，选择最佳的几个候选形状，并采用轻量化的重构技术进行快速、端到端的训练。

Abstract

We propose a method to detect and reconstruct multiple 3D objects from a single RGB image. The key idea is to optimize for detection, alignment and shape jointly over all objects in the RGB image, while focusing on realistic and physically plausible reconstructions. To this end, we propose a keypoint detector that localizes objects as center points and direc

3d object detection shape reconstruction keypoint detector collision-loss cad-models

发现论文，激发创造

基于体素的单图像多物体三维检测和重建

该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

Nov, 2021

PerspectiveNet：通过视点获取的单个 RGB 图像的 3D 对象检测

本文提出了一种基于透视点的三维物体检测模型 PerspectiveNet，使用局部曼哈顿三维关键点的二维投影作为中间表示，利用透视几何的几何约束来提高检测准确性，在 SUN RGB-D 数据集上取得了极大的性能提升。

Dec, 2019

基于关键点几何推理的单目三维物体检测

本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

May, 2019

CenterSnap: 单次拍摄多目标三维形状重建及分类六自由度姿态与大小估计

本论文提出了一种基于单个视角的 RGB-D 观测对多目标 3D 重建、6D 姿态和大小估计的简单、高效、端到端的方法，并且基于 ShapeNet 和 NOCS 数据集进行了广泛实验，在新颖实际世界的目标实例 6D 姿态中获得了 12.6% 的绝对改进。

Mar, 2022

基于关键点的单阶段类别级别物体姿态估计

该研究提出了一种基于关键点的方法，通过一个 RGB 图像作为输入，对已知类别内的未知目标实例进行目录级别的物体位姿估计，采用单阶段神经网络，并在 Objectron 基准测试中表现出比现有方法更好的性能

Sep, 2021

CoReNet：从单个 RGB 图像中重构连贯的 3D 场景

该论文的研究结果表明在深度学习和编码器 - 解码器架构的帮助下，使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型，并且同样的技术可以从单张图像中重构出多个 3D 物体模型，并处理遮挡问题。

Apr, 2020

基于 RGB-D 数据的三维物体检测的台阶式点云网络

本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

Nov, 2017

RGB-D 数据下可迁移的半监督三维物体检测

提出了一种可转移的半监督 3D 目标检测模型，通过训练存在强类别和弱类别两个不相交的物体类别集的数据，使用放松重投影损失、Box-to-Point Cloud Fit 网络等技术，从强类别向弱类别传递 3D 信息，并在 SUN-RGBD 和 KITTI 数据集上取得了优异的成果。

Apr, 2019

单幅 RGB 帧的基于语义关键点的姿态估算

该论文提出了一种从单个 RGB 图像中估计物体连续 6-DoF 姿态的方法，该方法结合了经卷积网络预测的语义关键点和可变形的形状模型，同时采用了半自动数据生成技术来训练可学习组件，在实验中该方法达到了与现有技术相当的结果。

Apr, 2022

通过嵌入颜色的三维重建实现精确的单目物体检测，用于自动驾驶

本文提出了一种自动驾驶中单目三维物体检测框架，着重解决了二维图像数据的不足，通过将输入数据从二维图像平面转换为三维点云空间进行处理，并使用 PointNet 网络进行三维检测，以提高点云的辨别能力，同时利用多模态融合模块将 RGB 颜色信息融入点云表示，证明了在三维空间中推断三维包围盒比在二维图像平面中更加有效，经过在 KITTI 数据集上的评估，该方法的表现超过现有最新的单目方法。

Mar, 2019