MV-DeepSDF: 自主驾驶中基于多次扫描点云的 3D 车辆重建的隐式建模

Aug, 2023

MV-DeepSDF: 自主驾驶中基于多次扫描点云的 3D 车辆重建的隐式建模

MV-DeepSDF: Implicit Modeling with Multi-Sweep Point Clouds for 3D Vehicle Reconstruction in Autonomous Driving

Yibo Liu, Kelly Zhu, Guile Wu, Yuan Ren, Bingbing Liu...

TL;DR从嘈杂和稀疏的部分点云中重建 3D 汽车对于自动驾驶非常重要。我们提出了一种名为 MV-DeepSDF 的新框架，通过估计多次扫描点云中的最优符号距离函数（SDF）形状表示来重建野外汽车。通过在潜在特征空间中分析多次扫描的一致性和互补性，并将隐式空间形状估计问题转化为元素到集合特征提取问题，我们首次探讨了多次扫描的重建。通过设计一种新的架构来提取单个元素级表示并将它们聚合生成集合级的预测潜在代码，得到隐式空间中最优 3D 形状的表达，并可以随后解码为连续的 SDF 汽车。通过对两个实际自动驾驶数据集（Waymo 和 KITTI）进行彻底实验，我们展示了我们的方法在质量和量化方面优于现有的替代方法。

Abstract

Reconstructing 3d vehicles from noisy and sparse partial point clouds is of great significance to autonomous driving. Most existing 3D reconstruction methods cannot be directly applied to this problem because the

3d vehicles noisy and sparse partial point clouds mv-deepsdf multi-sweep point clouds 3d vehicle reconstruction

发现论文，激发创造

基于稀疏点云的无监督占据学习

通过使用基于边界采样的方法和基于熵的优化过程，我们提出一种从稀疏输入中学习占据场的方法，并展示了该方法在隐式形状推断方面相对于基线方法和现有技术的有效性。

Apr, 2024

MVSBoost：一种高效的基于点云的 3D 重建

通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术，本论文提出了一个增强型的多视角立体重建框架，显著提高了传统方法的准确性和精度，在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性，对于实时处理和可扩展性要求高的情况，可以与当前最先进的神经隐式场方法相竞争甚至超越。

Jun, 2024

SurroundSDF：基于有向距离域的隐式三维场景理解

提出 SurroundSDF 方法来通过环境图像隐式地预测连续的感知距离场 (SDF) 和语义场，通过使用基于查询的方法和 Eikonal 公式约束 SDF 以准确描述障碍物表面，并引入一种新的弱监督模式 (Sandwich Eikonal formulation) 来提高表面感知的准确性，实验证明该方法在 nuScenes 数据集上在占用预测和 3D 场景重建任务中取得了最优的结果。

Mar, 2024

使用带引导的稀疏特征体积融合从单目视频中增量稠密重建

本文提出了基于特征体积的实时密集重建方法，采用稀疏的深度特征体积来预测 TSDF 值，通过多视角图像聚合细节信息进行时序融合，实现了比以往更高分辨率和更完整细节的三维几何图形重建，其在室内和室外场景中都比现有的方法具有更好的实时重建性能。

May, 2023

DeepSDF：学习连续的符号距离函数以用于形状表征

介绍了 DeepSDF 方法，它是用于高品质形状表示、插值和完成的一种学习连续有符号距离函数（SDF）的表示，将 3D 几何表示为体积场，并可表示整个形状类。DeepSDF 方法相比以往方法降低了一个数量级的模型大小，同时获得了学习 3D 形状表示和完成方面的最先进性能。

Jan, 2019

ClusteringSDF：用于 3D 分解的自组织神经隐式曲面

通过神经隐式表面表示，即信号距离函数（SDF），提出了 ClusteringSDF 方法，实现了 3D 中的分割和重建。这项研究通过高效的聚类机制将 2D 标签提升到 3D，并在 ScanNet 和 Replica 数据集上的挑战性场景中取得了与现有技术相竞争的表现，而且训练时间大大缩短。

Mar, 2024

深度局部形状：学习本地 SDF 先验用于详细三维重建

利用 Deep Local Shapes 技术实现高质量 3D 形状的编码与重建，将场景分解成局部形状以降低模型的复杂度和提高推导效率。

Mar, 2020

野外三维车辆重建的神经隐式建模修复

本文提出了一种基于神经隐式模型的 3D 物体重建方法，通过深度编码器作为初始形状潜码的鲁棒优化器，利用规则化测试时间优化潜码，深度鉴别器作为高维形状先验，并使用新颖的课程学习策略，从而更好地捕捉全局细节，在模糊的基准数据集上表现出色，展示了在真实世界数据上超越现有技术的优越性。

Jan, 2021

2L3: 将不完美生成的 2D 图像提升到精确的 3D

通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

Jan, 2024

LiDAR 点云 3D 物体检测的端到端多视角融合

本文提出了一种新颖的多视角融合算法 (MVF)，它能够从鸟瞰视角和透视视角有效地学习利用互补信息，其中采用了动态体素化方法。在 Waymo 开放数据集和 KITTI 数据集上的评估表明，MVF 模型显著提高了检测精度。

Oct, 2019