ICCVSep, 2021

使用 3D 空间变化的照明学习室内反渲染技术

PDF
TL;DR本文提出了一种用于室内场景的统一、基于学习的逆渲染框架，包括反照率、法线、深度和三维空间变化的照明的联合估计，其中设计了一种基于物理学的可微渲染器，利用我们的三维照明表示，形成能量守恒的图像形成过程，实现所有内在属性的联合训练，以重新渲染约束保证物理正确性，实验表明，该方法在量化和质量上优于之前的工作，能够为增强现实应用（例如虚拟物体插入）产生逼真的结果，即使对于高度镜面的物体也是如此。
inverse rendering3d lighting representationdifferentiable rendererenergy-conserving image formationphotorealistic results
发现论文，激发创造
  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • MAIR: 多视角注意力逆渲染技术与三维空间变异照明估计

    提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架，该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能，并可在任意 3D 位置进行逼真的物体插入。

    Mar, 2023

  • 利用可微分蒙特卡罗光线跟踪进行复杂室内场景的基于学习的反渲染

    该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。

    Nov, 2022

  • 从单张图片中神经逆向渲染室内场景

    本文提出了一种基于学习的逆向渲染方法，通过构建 Residual Appearance Renderer（RAR）来综合估计户内场景的反射率、法线和照明，使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明，该方法优于已有的估计一种或多种场景属性的最先进方法。

    Jan, 2019

  • Lighthouse: 预测具有空间一致性的照明光照体积

    本文提出了一种使用深度学习模型对场景的三维模型进行预测，并通过标准体积渲染技术来估算场景中任何三维位置的入射光照强度，可以在没有地面真实三维数据的情况下进行训练，可用于在真实图像中插入高反光虚拟物体的空间变化照明估算方法。

    Mar, 2020

  • 时空一致的室内 HDR 照明估计

    该研究提出了一种物理动机的深度学习框架，可以解决室内光照估计的问题，通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段，其可以在单张图片或视频序列上预测整个场景下的光照，达到高质量、实时、高度真实感的场景光照预测和增强渲染。

    May, 2023

  • 利用多视角自监督学习的单张图片户外反渲染

    本文介绍了如何使用完全卷积神经网络从单个未受控制的图像中恢复场景的形状，反射和照明。通过在包含丰富照明变化的图像上执行离线多视图立体（MVS）和学习统计自然照明先验，我们可以获得额外的监督，并在反渲染和其他基准测试中评估其性能。

    Feb, 2021

  • IRIS：从低动态范围图像中反渲染室内场景

    从多视角、低动态范围（LDR）图像中恢复场景的基于物理的材质属性和空间变化的高动态范围（HDR）照明，实现了高度逼真的重照和物体插入。

    Jan, 2024

  • 逆向渲染中间接照明建模

    本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

    Apr, 2022

  • 基于物体的，考虑渲染的神经网络光照估计

    提出了一种方法，通过逆向渲染的物理原理来约束解决方案，同时利用神经网络来增强处理的计算能力，以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计，从而在 AR 情境下实现真实感增强。

    Aug, 2020