复杂室内场景的反渲染:从单张图像提取形状、空间变化照明和空间可变双向反射分布函数
该研究提出一种终端到端的学习逆渲染框架,利用可微分 Monte Carlo 光线追踪结合重要性采样,从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入,创建大规模室内场景数据集,设计一种新颖的场外灯光网络进行评估,呈现出与业界最先进基线方法相比提高了的反向渲染质量,可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。
Nov, 2022
本文提出了一种用于室内场景的统一、基于学习的逆渲染框架,包括反照率、法线、深度和三维空间变化的照明的联合估计,其中设计了一种基于物理学的可微渲染器,利用我们的三维照明表示,形成能量守恒的图像形成过程,实现所有内在属性的联合训练,以重新渲染约束保证物理正确性,实验表明,该方法在量化和质量上优于之前的工作,能够为增强现实应用(例如虚拟物体插入)产生逼真的结果,即使对于高度镜面的物体也是如此。
Sep, 2021
提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架,该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能,并可在任意 3D 位置进行逼真的物体插入。
Mar, 2023
本文介绍了如何使用完全卷积神经网络从单个未受控制的图像中恢复场景的形状,反射和照明。通过在包含丰富照明变化的图像上执行离线多视图立体(MVS)和学习统计自然照明先验,我们可以获得额外的监督,并在反渲染和其他基准测试中评估其性能。
Feb, 2021
本文提出了一种基于学习的逆向渲染方法,通过构建 Residual Appearance Renderer(RAR)来综合估计户内场景的反射率、法线和照明,使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明,该方法优于已有的估计一种或多种场景属性的最先进方法。
Jan, 2019
本文提出了一种高效的多视角逆向呈现方法,可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF,通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示,并基于 TBL 提出了一种预计算辐照度的混合光照表示,通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义,实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法,并启用了物理合理的增强现实应用,如材质编辑,可编辑的新视角合成和重新照明。
Nov, 2022
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
通过使用完全卷积神经网络,我们展示了如何从单幅未受控制的图像执行反渲染。我们的网络使用大型未受控制的图像集进行训练,并通过引入可微分渲染器来进行自监督学习。同时,我们还通过学习一个统计的自然照明先验和离线多视图立体成像来提供额外的监督。这是第一次尝试使用多视图立体成像监督学习反渲染。
Nov, 2018