Pix2Vox++：基于多尺度上下文感知的单张和多张图像的三维物体重建

Jun, 2020

Pix2Vox++：基于多尺度上下文感知的单张和多张图像的三维物体重建

Pix2Vox++: Multi-scale Context-aware 3D Object Reconstruction from Single and Multiple Images

Haozhe Xie, Hongxun Yao, Shengping Zhang, Shangchen Zhou, Wenxiu Sun

TL;DR提出了一种名为 Pix2Vox ++ 的新框架，用于从单视角或多视角图像恢复 3D 物体，使用编码器 - 解码器生成初始 3D 体积，并引入了多尺度上下文感知融合模块自适应地选择高质量的重建部分，以获得融合的 3D 体积，并进一步采用提炼器来选择性地探测出融合的 3D 体积中错误恢复的部分，最终得出鲁棒性和有效性均优于现有方法的结果。

Abstract

Recovering the 3D shape of an object from single or multiple images with deep neural networks has been attracting increasing attention in the past few years. Mainstream works (e.g. 3D-R2N2) use recurrent neural networks (RNNs) to sequentially fuse feature maps of input images. However, RNN-based approaches are unable to produce consistent reconstruction resu

3d object reconstruction deep neural networks multi-view images encoder-decoder context-aware fusion module

发现论文，激发创造

Pix2Vox：基于单视图和多视图的上下文感知三维重建

提出了一种名为 Pix2Vox 的新框架，采用精心设计的编码器 - 解码器生成每个图像的粗略 3D 体积，再引入上下文感知融合模块自适应地选择不同粗略 3D 体积中每个部分（例如桌腿）的高质量重构，以获得融合的 3D 体积，并通过一个细化器进一步精化融合的 3D 体积以生成最终输出，该方法在 3D 重建方面的实验结果表明，Pix2Vox 不仅性能较其它现有算法更优，而且退推时间比 3D-R2N2 快 24 倍，而且该方法具有强大的通用性。

Jan, 2019

CoReNet：从单个 RGB 图像中重构连贯的 3D 场景

该论文的研究结果表明在深度学习和编码器 - 解码器架构的帮助下，使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型，并且同样的技术可以从单张图像中重构出多个 3D 物体模型，并处理遮挡问题。

Apr, 2020

基于体素的单图像多物体三维检测和重建

该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

Nov, 2021

3D-R2N2：单视角和多视角三维物体重建的统一方法

使用深度学习方法，构建一个名为 3D-R2N2 的递归神经网络结构，使用大量的合成数据将图像映射到对应的 3D 形状，无需图像注释或对象分类标签，可以在缺乏纹理或宽基线的情况下，实现对象的 3D 重建，并在单视图重建方面优于现有的最先进方法。

Apr, 2016

基于 Transformer 的多视角三维重建

本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

Mar, 2021

高保真度的单视角 3D 场景重建

从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

Nov, 2023

MVPNet：用于从单张图像重建三维物体的多视图点回归网络

该论文提出了一种基于点云的物体表面重建方法，使用编码器 - 解码器网络通过单张图片生成多种视角下的点云，并且使用几何损失函数提高表面拟合准确性。

Nov, 2018

Im2Struct：从单个 RGB 图像中恢复 3D 形状结构

该研究提出了一种从单个 RGB 图像中恢复三维形状结构的方法，包括由立方体表示的形状部件和涵盖连通性和对称性的部件关系，并通过卷积递归自编码器实现编码解码过程，最终通过对立体多边形层次结构的恢复实现了对单个视角二维图像的恢复。

Apr, 2018

基于形状先验的单视角三维物体重建

本文提出一种名为 Mem3D 的新方法，通过构建形状先验和使用基于 LSTM 的形状编码器，以及使用 Voxel Triplet Loss 函数来重建包含噪声和遮挡的 3D 物体形状，该方法在 ShapeNet 和 Pix3D 数据集上表现优异。

Mar, 2020

从单个深度视图密集重建 3D 物体

通过 3D-RecGAN ++，使用生成对抗网络从单个任意深度视图重建给定对象的完整三维结构，诸如多视图的对象或类标签，仅使用深度视图的体素网格表示作为输入，充分利用了自动编码器和条件生成式对抗网络框架的生成能力，在高维体素空间中推断对象的准确和细粒度的三维结构，并在合成和真实数据集上得到了验证。

Feb, 2018