实现可伸缩的几何和材料多视角重建
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
本文提出一种新的方法,可同时优化几何编码、纹理以及材料和场景照明,以从消费级 RGB-D 传感器中获得高质量的 3D 重建。
Aug, 2017
从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法,能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法,分为两个阶段。在初始化阶段,我们使用传统的 SfM(结构光型三维重建)和 MVS(多视角立体匹配)方法来大致重建与实际场景相匹配的虚拟场景。然后,在优化阶段,我们采用混合方法来优化几何和反射率,其中几何首先使用近似可微渲染方法进行优化,然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明,我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。
Aug, 2023
该论文提出了一种深度学习方法,可以从不确定数量的拍摄的无序图片中估计材料外观,无需校准,并通过提取每张图片中的最有用的信息并从数据中学到的先验知识,处理视角和光线方向的变化,从而实现对材料的捕捉,并在单张至多张图片的输入条件下,实现与现有单张和复杂多张方法之间的完美平衡。
Jun, 2019
通过不同 iable ray tracing 优化初始粗略网格和每个网格面材质表示,从而实现从低分辨率输入视图中重建细粒度几何和材料细节,本文证明不同 geometry 的初始化对重建的影响,并展示如何在无约束环境中通过智能手机视频和消费者 360° 摄像机的输入来优化实际物体的初始重建。
Dec, 2020
本文介绍了一种适用于透视相机和附近点光源的多视图光度立体技术 (MVPS) 来捕捉 3D 形状和空间变化的反射,并在实验中展示了应用该算法重建形状和捕捉反射的准确性。
Jan, 2020
从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示,利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
提出了一种新的深度学习架构,该架构对形状和 SVBRDF 进行分阶段估计,并具有联合细化网络,适用于移动硬件,并创建了一个大规模的合成训练数据集,通过实验展示了该方法的优越性。
Apr, 2020
本文介绍了一种新的分析合成技术,通过鲁棒的粗到细优化和基于物理的可微分渲染,能够重新构建现实世界对象的形状和外观,统一处理几何和反射的优化,利用图像梯度获得物理精度的梯度估计。
Mar, 2021
本论文研究了从 RGB 视频中重建三维物体网格的方法,结合多视角几何和数据驱动方法来优化物体网格以适应多视角光度一致性,并通过形状先验来约束网格变形。作者采用逐片图像对齐的形式,通过光度误差更新形状参数,无需深度或掩膜信息。此外,作者还展示了如何通过虚拟视点的光栅化来避免零光度梯度导致的退化问题,并展示了采用光度网格优化的方法从合成和真实视频中获得的三维物体网格重建结果,相比于传统的网格生成网络或表面重建方法,避免了繁琐的手动后处理。
Mar, 2019