CVPRNov, 2022

大规模真实室内场景多视角反渲染

PDF
TL;DR本文提出了一种高效的多视角逆向呈现方法，可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF，通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示，并基于 TBL 提出了一种预计算辐照度的混合光照表示，通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义，实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法，并启用了物理合理的增强现实应用，如材质编辑，可编辑的新视角合成和重新照明。
multi-view inverse renderingglobal illuminationsvbrdfmaterial optimizationmixed-reality
发现论文，激发创造
  • MAIR: 多视角注意力逆渲染技术与三维空间变异照明估计

    提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架，该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能，并可在任意 3D 位置进行逼真的物体插入。

    Mar, 2023

  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • IRIS：从低动态范围图像中反渲染室内场景

    从多视角、低动态范围（LDR）图像中恢复场景的基于物理的材质属性和空间变化的高动态范围（HDR）照明，实现了高度逼真的重照和物体插入。

    Jan, 2024

  • IBRNet: 学习多视角基于图像渲染

    通过绘制多种源视图来渲染高分辨率成像，并利用神经网路的视角插值，在新颖场景中综合新视角。

    Feb, 2021

  • 使用 3D 空间变化的照明学习室内反渲染技术

    本文提出了一种用于室内场景的统一、基于学习的逆渲染框架，包括反照率、法线、深度和三维空间变化的照明的联合估计，其中设计了一种基于物理学的可微渲染器，利用我们的三维照明表示，形成能量守恒的图像形成过程，实现所有内在属性的联合训练，以重新渲染约束保证物理正确性，实验表明，该方法在量化和质量上优于之前的工作，能够为增强现实应用（例如虚拟物体插入）产生逼真的结果，即使对于高度镜面的物体也是如此。

    Sep, 2021

  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

    May, 2022

  • 虚拟家居布置：在自然照明下逆向渲染和编辑室内全景

    我们提出了一种新颖的反渲染方法，可以在自然照明下将现有室内全景图转换为新的室内家具布局。通过拍摄室内 HDR 全景图和实时室外半球 HDR 照片，我们采集了室内和室外 HDR 图像，并根据测定的绝对亮度值进行线性校准以获得准确的场景重光。我们的方法包含三个关键部分：全景家具检测和去除、自动地板布局设计以及具有场景几何、新家具对象和实时室外照片的全局渲染。我们展示了我们的工作流程在不同室外照明条件下渲染室内场景的有效性。此外，我们还贡献了一个新的经过校准的 HDR（Cali-HDR）数据集，其中包含 137 个校准的室内全景图及其相应的室外照片。源代码和数据集可在此链接上获得：this https URL

    Nov, 2023

  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021

  • 利用可微分蒙特卡罗光线跟踪进行复杂室内场景的基于学习的反渲染

    该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。

    Nov, 2022

  • 逆向渲染中间接照明建模

    本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

    Apr, 2022