多视角 3D 物体重建和不确定性建模与神经形状先验

Jun, 2023

多视角 3D 物体重建和不确定性建模与神经形状先验

Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior

Ziwei Liao, Steven L. Waslander

TL;DR通过神经对象表示学习对象形状分布并将其映射到潜在空间，我们利用不确定性感知编码器直接从单个输入图像生成具有不确定性的潜在代码以模拟3D物体重建领域中的不确定性，并在贝叶斯框架下提出增量融合方法来融合多视角观测的潜在编码，从而提高3D对象重建的准确性。

Abstract

3d object reconstruction is important for semantic scene understanding. It is challenging to reconstruct detailed 3D shapes from monocular images directly due to a lack of depth information, occlusion and noise. Most current methods generate deterministic object models without any awar

发现论文，激发创造

ShapeCodes: 将视角提升至视图网格以进行自我监督特征学习

本论文介绍了一种无监督学习方法，将三维形状信息嵌入到单视图图像表示中，通过使用单个2D图像的自监督训练目标，在没有人工语义标签的前提下，鼓励表示捕捉基本形状原语和语义规律，最终学习得到一个强大的表示方法，可以成功进行物体识别和“心理旋转”操作，成果优于相对应的其他无监督学习方法。

Sep, 2017

单视图三维重建的视角先验学习

该研究提出了一种训练鉴别器和重构器的方法，在重构器中使用先验知识来纠正未被观察到的视角，以便从任意视角重新构建形状。与目前最先进的方法相比，实验结果表明该方法在合成和自然图像数据集上表现更好。

Nov, 2018

使用深度形状先验和轮廓的单视图物体形状重建

本文提出了一种在线优化的网络结构，通过避免依赖于深层神经网络的初始化，使用了概率形状先验指导深层特征以及图像线索，实现了从单个图像中重建三维形状，且相较于现有最先进方法，得到了可比较的结果。

Nov, 2018

基于概率重建网络的单张图片3D形态推断

使用基于概率推理的重建框架，探索了基于不同形状表示和适当的学习架构的端到端学习策略，从而实现了从单个图像推断三维形状。通过我们的Probabilistic Reconstruction Networks，使用基本的体素网格表征，实现了在ShapeNet数据集上的新的交集和移动距离评估指标的最新成果。

Aug, 2019

基于形状先验的单视角三维物体重建

本文提出一种名为Mem3D的新方法，通过构建形状先验和使用基于LSTM的形状编码器，以及使用Voxel Triplet Loss函数来重建包含噪声和遮挡的3D物体形状，该方法在ShapeNet和Pix3D数据集上表现优异。

Mar, 2020

NodeSLAM: 多视角形状重建的神经物体描述符

通过多类学习对象描述符和新颖的渲染引擎，可以从一个或多个RGB-D图像中进行精确和鲁棒的3D对象重建，从而实现了多种应用，同时具备联合优化对象姿态和形状以及相机轨迹的能力。

Apr, 2020

基于学习的三维重建的泛化

本文研究了学习基础的3D重建方法在体现经验偏好时的架构问题，发现编码器空间范围、场景几何特征描述和多视图信息聚合机制对性能的影响，并提出相应的机制以增强对这些经验偏好的表达。在ShapeNet基准测试中，我们的模型在各种设置下均实现了最先进的成果。

Jun, 2020

通过学习局部和全局形状先验层次来促进单视图3D重建的泛化

该文利用不同层次的位置先验信息从输入的深度图中提取详细的局部信息并进行组合，从而改进了新颖形状的泛化能力，具有更好的泛化性能。

Apr, 2021

学习先验概率的概率融合用于标准3D重建流水线

本研究提出将单视角深度先验与传统三维重建系统融合，通过预测概率分布并使用代价函数最小化来提取深度图，并证明了该方法在整个系统性能方面的优越性。

Jul, 2022

基于深度形态先验的不确定性感知三维物体级建图

提出一个基于学习生成模型和概率不确定性优化框架的方法，用于在没有对象CAD模型的情况下进行高质量的未知对象的三维重建和定位，并且通过引入形状和姿态的不确定性，得到了能够准确反映对象地图错误的姿态和形状不确定性。

Sep, 2023