多视角 3D 物体重建和不确定性建模与神经形状先验

Jun, 2023

多视角 3D 物体重建和不确定性建模与神经形状先验

Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior

Ziwei Liao, Steven L. Waslander

TL;DR通过神经对象表示学习对象形状分布并将其映射到潜在空间，我们利用不确定性感知编码器直接从单个输入图像生成具有不确定性的潜在代码以模拟 3D 物体重建领域中的不确定性，并在贝叶斯框架下提出增量融合方法来融合多视角观测的潜在编码，从而提高 3D 对象重建的准确性。

Abstract

3d object reconstruction is important for semantic scene understanding. It is challenging to reconstruct detailed 3D shapes from monocular images directly due to a lack of depth information, occlusion and noise. Most current methods generate deterministic object models without any awar

3d object reconstruction neural object representation uncertainty-aware encoder sdf values bayesian framework

发现论文，激发创造

基于深度形态先验的不确定性感知三维物体级建图

提出一个基于学习生成模型和概率不确定性优化框架的方法，用于在没有对象 CAD 模型的情况下进行高质量的未知对象的三维重建和定位，并且通过引入形状和姿态的不确定性，得到了能够准确反映对象地图错误的姿态和形状不确定性。

Sep, 2023

野外三维车辆重建的神经隐式建模修复

本文提出了一种基于神经隐式模型的 3D 物体重建方法，通过深度编码器作为初始形状潜码的鲁棒优化器，利用规则化测试时间优化潜码，深度鉴别器作为高维形状先验，并使用新颖的课程学习策略，从而更好地捕捉全局细节，在模糊的基准数据集上表现出色，展示了在真实世界数据上超越现有技术的优越性。

Jan, 2021

使用深度形状先验和轮廓的单视图物体形状重建

本文提出了一种在线优化的网络结构，通过避免依赖于深层神经网络的初始化，使用了概率形状先验指导深层特征以及图像线索，实现了从单个图像中重建三维形状，且相较于现有最先进方法，得到了可比较的结果。

Nov, 2018

基于形状先验的单视角三维物体重建

本文提出一种名为 Mem3D 的新方法，通过构建形状先验和使用基于 LSTM 的形状编码器，以及使用 Voxel Triplet Loss 函数来重建包含噪声和遮挡的 3D 物体形状，该方法在 ShapeNet 和 Pix3D 数据集上表现优异。

Mar, 2020

学习形状先验用于单视图 3D 补全和重建

本文提出 ShapeHD，将深度生成模型与马赛克技术相结合，解决了单视角 3D 形状补全和重建的两个层面的问题，并在多个真实数据集上取得了比现有技术领先很多的表现。

Sep, 2018

用于三维形态建模与重建的深度优化先验

该研究提出了一种新的 3D 建模和重建学习框架，通过连接基于学习和基于优化的方法的优点并优化学习的先验和潜在编码，提高了深度生成器的广义性。实验结果显示，该方法在处理高度稀疏或坍塌的观测数据方面比现有方法都有优势。

Dec, 2020

预测不确定区域的形状补全

通过两种方法预测局部空间占用与直接确定性预测，提高不确定区域的分割准确性、完成物体形状，增加抓取质量。

Aug, 2023

单视图三维重建的视角先验学习

该研究提出了一种训练鉴别器和重构器的方法，在重构器中使用先验知识来纠正未被观察到的视角，以便从任意视角重新构建形状。与目前最先进的方法相比，实验结果表明该方法在合成和自然图像数据集上表现更好。

Nov, 2018

用于学习类别特定形状重建的多视图聚合

本文研究了从未观察到的物体实例的可变数量的 RGB 视图学习特定类别的 3D 形状重建问题，并提出了一种可以估计密集 3D 形状并在多个和不同数量的输入视图上聚合形状的方法。

Jul, 2019

2L3: 将不完美生成的 2D 图像提升到精确的 3D

通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

Jan, 2024