从单个视频进行大规模城市场景逆向渲染
提出了一种深度反渲染框架,用于室内场景的重建和估计形状、光照和面反射率,实现了提高渲染质量,从而在增强现实等领域具有广泛应用。
May, 2019
SIRe-IR 是一种基于非线性映射和正则化能见度估计的隐式神经反渲染方法,能够准确地将场景分解为环境贴图、反射率和粗糙度,并能够同时模拟间接辐射场、法线、能见度和直接光,从而消除材质中的阴影和间接照明。SIRe-IR 在定量和定性评估中均优于现有方法。
Oct, 2023
提出一种新的逆向渲染框架,能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明,并支持物理场景操作,例如射线跟踪阴影投射。
Apr, 2023
本文提出了一种基于学习的逆向渲染方法,通过构建 Residual Appearance Renderer(RAR)来综合估计户内场景的反射率、法线和照明,使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明,该方法优于已有的估计一种或多种场景属性的最先进方法。
Jan, 2019
该研究提出一种终端到端的学习逆渲染框架,利用可微分 Monte Carlo 光线追踪结合重要性采样,从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入,创建大规模室内场景数据集,设计一种新颖的场外灯光网络进行评估,呈现出与业界最先进基线方法相比提高了的反向渲染质量,可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。
Nov, 2022
本文提出了一种高效的多视角逆向呈现方法,可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF,通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示,并基于 TBL 提出了一种预计算辐照度的混合光照表示,通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义,实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法,并启用了物理合理的增强现实应用,如材质编辑,可编辑的新视角合成和重新照明。
Nov, 2022
提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架,该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能,并可在任意 3D 位置进行逼真的物体插入。
Mar, 2023
本研究的重点是通过使用变换器结构来解决单张图像反渲染领域的挑战,进而从单张室内场景图像中同时估计深度、法线、强度和光照,以及对比其他方法在实际应用中的优势。
Jun, 2022
通过在预训练的 3D 对象表示的潜在空间上优化可微分的渲染管道,我们提出将 RGB 摄像机中的 3D 多目标跟踪重新构建为逆渲染问题,通过优化图像损失在生成的潜空间上进行,其固有地解藕形状和外观属性。我们验证了我们方法的泛化和扩展能力,通过仅从合成数据学习生成先验,并在 nuScenes 和 Waymo 数据集上评估基于摄像机的 3D 跟踪。
Apr, 2024