SIR: 室内场景的多视角可分解阴影逆渲染
SIRe-IR 是一种基于非线性映射和正则化能见度估计的隐式神经反渲染方法,能够准确地将场景分解为环境贴图、反射率和粗糙度,并能够同时模拟间接辐射场、法线、能见度和直接光,从而消除材质中的阴影和间接照明。SIRe-IR 在定量和定性评估中均优于现有方法。
Oct, 2023
提出了一种深度反渲染框架,用于室内场景的重建和估计形状、光照和面反射率,实现了提高渲染质量,从而在增强现实等领域具有广泛应用。
May, 2019
提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架,该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能,并可在任意 3D 位置进行逼真的物体插入。
Mar, 2023
该研究提出一种终端到端的学习逆渲染框架,利用可微分 Monte Carlo 光线追踪结合重要性采样,从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入,创建大规模室内场景数据集,设计一种新颖的场外灯光网络进行评估,呈现出与业界最先进基线方法相比提高了的反向渲染质量,可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。
Nov, 2022
从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法,能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法,分为两个阶段。在初始化阶段,我们使用传统的 SfM(结构光型三维重建)和 MVS(多视角立体匹配)方法来大致重建与实际场景相匹配的虚拟场景。然后,在优化阶段,我们采用混合方法来优化几何和反射率,其中几何首先使用近似可微渲染方法进行优化,然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明,我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。
Aug, 2023
本文介绍了如何使用完全卷积神经网络从单个未受控制的图像中恢复场景的形状,反射和照明。通过在包含丰富照明变化的图像上执行离线多视图立体(MVS)和学习统计自然照明先验,我们可以获得额外的监督,并在反渲染和其他基准测试中评估其性能。
Feb, 2021
该研究提出了一种基于机器学习的单幅图像固有分解方法,采用 siamese 训练方案进行深度卷积神经网络的训练,实现未标注图像的分解,同时提供了新的渲染数据集和评价指标。
Mar, 2018
本文提出了一种用于室内场景的统一、基于学习的逆渲染框架,包括反照率、法线、深度和三维空间变化的照明的联合估计,其中设计了一种基于物理学的可微渲染器,利用我们的三维照明表示,形成能量守恒的图像形成过程,实现所有内在属性的联合训练,以重新渲染约束保证物理正确性,实验表明,该方法在量化和质量上优于之前的工作,能够为增强现实应用(例如虚拟物体插入)产生逼真的结果,即使对于高度镜面的物体也是如此。
Sep, 2021
本文提出了一种基于学习的逆向渲染方法,通过构建 Residual Appearance Renderer(RAR)来综合估计户内场景的反射率、法线和照明,使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明,该方法优于已有的估计一种或多种场景属性的最先进方法。
Jan, 2019