CoReNet:从单个 RGB 图像中重构连贯的 3D 场景
本文提出了一种从单一 RGB 图像中检测和重构多个 3D 物体的方法,通过逐步优化检测、对齐和形状重构,选择最佳的几个候选形状,并采用轻量化的重构技术进行快速、端到端的训练。
Dec, 2020
提出了一种名为 Pix2Vox ++ 的新框架,用于从单视角或多视角图像恢复 3D 物体,使用编码器 - 解码器生成初始 3D 体积,并引入了多尺度上下文感知融合模块自适应地选择高质量的重建部分,以获得融合的 3D 体积,并进一步采用提炼器来选择性地探测出融合的 3D 体积中错误恢复的部分,最终得出鲁棒性和有效性均优于现有方法的结果。
Jun, 2020
该研究提出了一种基于 3D 体素特征的中心点检测方法,其中包括一个有效的粗细重建模块,可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。
Nov, 2021
本文介绍了一种基于像素输入和 3D 刚性类别的输出的自动化流程,通过从现有物体检测数据集中学习可变形的 3D 模型并结合底层模块进行高频率形状细节恢复,实现了在单幅图像中获取真实场景下物体的三维表面重建,通过在最近引入的 PASCAL 3D + 数据集上的全面定量分析和消融研究展示了非常令人鼓舞的自动重建效果。
Nov, 2014
该研究提出了一种从单个 RGB 图像中恢复三维形状结构的方法,包括由立方体表示的形状部件和涵盖连通性和对称性的部件关系,并通过卷积递归自编码器实现编码解码过程,最终通过对立体多边形层次结构的恢复实现了对单个视角二维图像的恢复。
Apr, 2018
提出了一种名为 Pix2Vox 的新框架,采用精心设计的编码器 - 解码器生成每个图像的粗略 3D 体积,再引入上下文感知融合模块自适应地选择不同粗略 3D 体积中每个部分(例如桌腿)的高质量重构,以获得融合的 3D 体积,并通过一个细化器进一步精化融合的 3D 体积以生成最终输出,该方法在 3D 重建方面的实验结果表明,Pix2Vox 不仅性能较其它现有算法更优,而且退推时间比 3D-R2N2 快 24 倍,而且该方法具有强大的通用性。
Jan, 2019
从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示,利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
本文介绍了名为 NeuralRecon 的新型框架,可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块,通过神经网络直接逐个重建局部表面,从而捕捉局部平滑性先验和全局形状先验,实现高精度,连贯和实时的表面重建。实验结果表明,该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。
Apr, 2021
本文提出了一种新的深度几何学习方法,通过构建保留欧几里得空间结构的三维潜在空间,可以提高网络在形状识别和重建上的性能,并且在 ShapeNet 和真实世界数据集上表现优于目前最先进的方法,并且能够自然而然地扩展到多视角重建。
Jun, 2020
通过 3D-RecGAN ++,使用生成对抗网络从单个任意深度视图重建给定对象的完整三维结构,诸如多视图的对象或类标签,仅使用深度视图的体素网格表示作为输入,充分利用了自动编码器和条件生成式对抗网络框架的生成能力,在高维体素空间中推断对象的准确和细粒度的三维结构,并在合成和真实数据集上得到了验证。
Feb, 2018