从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示,利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法,通过对单目视频进行姿态估计来恢复场景的体量特征,并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法,实验结果表明我们的方法能够获得卓越的性能。
Apr, 2023
提出了一种名为 Flash3D 的方法,用于从单个图像进行场景重建和新视角合成,具有很强的通用性和高效性。该方法基于基本模型进行深度估计,并使用高斯分层预测场景的 3D 形状和外观,利用高斯散点处理进行扩展。该方法训练效率高,在 RealEstate10k 数据集上取得了最先进的结果,在其他数据集上也表现出色。
Jun, 2024
使用 ReFu 方法,结合 2D 和 3D 监督,利用减少扩散占用概率的体积渲染,生成具有细节保留的背面图像,并将经过修整的图像与前端的反向变形融合以预测出人体模型,最终在单张图像 3D 人体重建中取得了最新成就。
Nov, 2022
该研究提出了一种新的方法,使用单个图像进行 3D 重建,生成了一个完整的 360 度 3D 纹理网格,改进于现有方法,具有更好的几何形状和一致性。
Jun, 2023
通过将多视图训练框架与面部参数模型 Flame 相结合,本论文旨在实现更好的面部 3D 重建质量,提出了一个多视图训练和测试模型 MFNet(多视图 Flame 网络)。通过建立自监督训练框架,引入多视图光流损失函数和面部标志损失等约束,最终获得了完整的 MFNet。基于 AFLW 和 facescape 数据集以及模拟实际场景拍摄的面部照片,我们在尽可能模拟实际情况的同时重建了 3D 面部,并取得了良好的结果。本研究主要解决了将面部参数模型与多视角面部 3D 重建相结合的问题,并探索了基于 Flame 的多视图训练和测试框架的实现,对于面部 3D 重建领域有一定的贡献。
Aug, 2023
使用少量照片重建现实场景的方法,通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化,从而在超约束区域综合出逼真的几何和纹理,同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比,我们在各种真实世界数据集上进行了广泛评估,包括正向和 360 度场景,并展示了显著的性能改进。
Dec, 2023
本文提出一种新的方法,可同时优化几何编码、纹理以及材料和场景照明,以从消费级 RGB-D 传感器中获得高质量的 3D 重建。
Aug, 2017
通过结合压缩的自注意力机制、不可微分体素渲染、场景压缩和图像特征投影等方法,我们提出了一种高效、可扩展的基于 Transformer 的编码器 - 渲染器方法,用于从单次拍摄的图像重建 3D 一致的参数化三平面,适用于大规模、无界的户外驾驶场景。
Apr, 2024
通过多视角深度估计方法实现了精确简易的三维重建,在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。
Aug, 2022