BUOL: 一种底层框架，带有占用感知的提升，用于从单幅图像进行全景 3D 场景重建

CVPRJun, 2023

BUOL: 一种底层框架，带有占用感知的提升，用于从单幅图像进行全景 3D 场景重建

BUOL: A Bottom-Up Framework with Occupancy-aware Lifting for Panoptic 3D Scene Reconstruction From A Single Image

Tao Chu, Pan Zhang, Qiong Liu, Jiaqi Wang

TL;DR本文提出了一个基于自底向上框架和掌握占用信息的 Lifting 的 BUOL 方法，以解决从单个图像进行全景三维场景重构时的实例通道和体素重建的两个歧义问题，结果显示该方法在 3D-Front 合成数据集和 Matterport3D 真实数据集上的表现优于现有方法。

Abstract

Understanding and modeling the 3D scene from a single image is a practical problem. A recent advance proposes a panoptic 3d scene reconstruction task that performs both 3D reconstruction and 3D panoptic segmentation from a single image. Although having made substantial progress, recent

panoptic 3d scene reconstruction bottom-up framework occupancy-aware lifting semantic assignments multi-plane occupancy

发现论文，激发创造

PanoOcc：面向基于相机的三维全景分割的统一占据表示

本文介绍了一种名为 PanoOcc 的方法，它是一个基于相机的 3D 全景分割方法，它使用体素查询来聚合来自多帧和多视角图像的时空信息，并将特征学习和场景表示集成到一种全面的占用表示中，用于摄像机 3D 场景理解的统一占用表示，从而实现了更好的摄像机语义分割和全景分割结果，并且该方法可以很容易地扩展到密集的占用预测。

Jun, 2023

仅自底向上查看的单目三维物体检测

YOLOBU 是一种基于图像特征列的新方法，它通过底 - up 方式建立像素之间的关系，充分利用位置线索进行单目 3D 检测，并在 KITTI 数据集上展示出其有效性和优越性。

Jan, 2024

PanoSSC：探索用于自动驾驶的单目全景三维场景重构

通过在三维体素场景中进行全景分割的研究，我们提出了一种实例感知的占据网格模型 PanoSSC，可以有效地提取单个对象，将几何重建、三维语义分割和三维实例分割统一到 PanoSSC 框架中，并提出了用于评估全景体素的新指标。在 SemanticKITTI 语义场景完成基准测试中，我们的方法取得了有竞争力的结果。

Jun, 2024

基于体素的单图像多物体三维检测和重建

该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

Nov, 2021

基于视角瓶颈的点级监督三维场景解析

本文提出一个自监督的三维表示学习框架，名为视角瓶颈，通过在不同视角下点云上应用基于互信息的目标函数进行优化，以学习极度稀疏标签的模型，该方法不同于过去的对比学习方法，具有易于实现和调整、无需负样本、在下游任务上表现更好等优点，并在公共基准 ScanNet 上取得了最佳结果，证明了其在机器人应用中的效果。

Sep, 2021

FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

Mar, 2024

OCM3D：基于物体的单目三维物体检测

本文提出了一种适用于单目三维目标检测的新型基于物体的体素表示法，能够有效地组织噪点云在体素网格内，并能够精确定位对象在三维空间中的位置。通过考虑三维物体与相关二维框之间的关系，我们将单目三维目标检测中的置信度机制进行了分解，并在 KITTI 数据集上进行了评估，性能显著优于现有技术。

Apr, 2021

利用开放词汇的实例分割实现无监督全景重建

从场景的 RGB-D 图像中，我们提出了一种零样本全景重建方法，该方法利用开放词汇实例分割并利用密集广义特征传播部分标签和构建 3D 实例图进行关联来解决场景的全景分割和实例关联挑战。

Jul, 2024

单目三维物体检测中的占据学习

本文提出了一种基于 OccupancyM3D 的单眼 3D 检测方法，通过利用同步的稀疏 LiDAR 点云，直接在截锥体和 3D 空间中学习占用情况，从而生成具有更强区分性和信息性的 3D 特征和表示，并通过占用预测来增强原始的截锥体 / 3D 特征，经 KITTI 和 Waymo 数据集实验结果表明，该方法达到了新的最佳表现，并远远超过了其他方法。

May, 2023

POP-3D：基于图像的开放词汇 3D 实占预测

我们描述了一种预测开放词汇的 3D 语义体素占用图的方法，该方法可实现对自由形式语言查询进行 3D 定位、分割和检索。我们设计了一种新的模型架构，包括 2D-3D 编码器、占用预测和 3D 语言头；开发了一种三模态自监督学习算法，利用图像、语言和 LiDAR 点云三种模态来训练所提出的架构；并在几个开放词汇任务上定量展示了所提出模型的优势。

Jan, 2024