IJCAIAug, 2023

基于混合可微分渲染方法的高效多视角逆向渲染

PDF
TL;DR从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法，能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法，分为两个阶段。在初始化阶段，我们使用传统的 SfM（结构光型三维重建）和 MVS（多视角立体匹配）方法来大致重建与实际场景相匹配的虚拟场景。然后，在优化阶段，我们采用混合方法来优化几何和反射率，其中几何首先使用近似可微渲染方法进行优化，然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明，我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。
inverse renderingdifferentiable rendering3d geometryreflectancehybrid approach
发现论文，激发创造
  • 使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

    本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

    Mar, 2021

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 利用多视角自监督学习的单张图片户外反渲染

    本文介绍了如何使用完全卷积神经网络从单个未受控制的图像中恢复场景的形状，反射和照明。通过在包含丰富照明变化的图像上执行离线多视图立体（MVS）和学习统计自然照明先验，我们可以获得额外的监督，并在反渲染和其他基准测试中评估其性能。

    Feb, 2021

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • Spectral MVIR: 3D 形状和光谱反射联合重建

    本文提出了一种名为 Spectral MVIR 的多视角逆向渲染 (MVIR) 方法，可以使用标准 RGB 相机和低成本的照明设备，联合重构物体表面每个点的 3D 形状和光谱反射率。该方法不需要昂贵的特殊设备和繁琐的几何校准，实验结果表明，该方法能够获得具有准确光谱反射率性质的高质量 3D 模型。

    Apr, 2021

  • 通过可微路径追踪，重建图像中的三维物体几何形状和 SVBRDF 材质

    通过不同 iable ray tracing 优化初始粗略网格和每个网格面材质表示，从而实现从低分辨率输入视图中重建细粒度几何和材料细节，本文证明不同 geometry 的初始化对重建的影响，并展示如何在无约束环境中通过智能手机视频和消费者 360° 摄像机的输入来优化实际物体的初始重建。

    Dec, 2020

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • MAIR: 多视角注意力逆渲染技术与三维空间变异照明估计

    提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架，该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能，并可在任意 3D 位置进行逼真的物体插入。

    Mar, 2023

  • PS-NeRF：基于神经网络的多视图光度立体反演

    本研究提出了一种基于神经反演渲染的多视角光度立体（MVPS）方法，能够同时估算几何形状、材料和光源，并且在人工渲染、再照明和材质编辑方面具有较高的精度。

    Jul, 2022

  • MVSBoost：一种高效的基于点云的 3D 重建

    通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术，本论文提出了一个增强型的多视角立体重建框架，显著提高了传统方法的准确性和精度，在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性，对于实时处理和可扩展性要求高的情况，可以与当前最先进的神经隐式场方法相竞争甚至超越。

    Jun, 2024