Nov, 2022

利用可微分蒙特卡罗光线跟踪进行复杂室内场景的基于学习的反渲染

PDF
TL;DR该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。
发现论文，激发创造
  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • 使用 3D 空间变化的照明学习室内反渲染技术

    本文提出了一种用于室内场景的统一、基于学习的逆渲染框架，包括反照率、法线、深度和三维空间变化的照明的联合估计，其中设计了一种基于物理学的可微渲染器，利用我们的三维照明表示，形成能量守恒的图像形成过程，实现所有内在属性的联合训练，以重新渲染约束保证物理正确性，实验表明，该方法在量化和质量上优于之前的工作，能够为增强现实应用（例如虚拟物体插入）产生逼真的结果，即使对于高度镜面的物体也是如此。

    Sep, 2021

  • 从单张图片中神经逆向渲染室内场景

    本文提出了一种基于学习的逆向渲染方法，通过构建 Residual Appearance Renderer（RAR）来综合估计户内场景的反射率、法线和照明，使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明，该方法优于已有的估计一种或多种场景属性的最先进方法。

    Jan, 2019

  • 使用蒙特卡罗渲染和去噪从图像中分解形状、光线和材料

    本文研究了不同渲染技术的发展，提出一种整合了射线追踪、蒙特卡罗积分、多种重要性采样和去噪的反渲染流程，可以有效地重建三角网格几何、材质和光照，改善材质和光照分离，并提高梯度优化的效果和收敛速度。

    Jun, 2022

  • 利用多视角自监督学习的单张图片户外反渲染

    本文介绍了如何使用完全卷积神经网络从单个未受控制的图像中恢复场景的形状，反射和照明。通过在包含丰富照明变化的图像上执行离线多视图立体（MVS）和学习统计自然照明先验，我们可以获得额外的监督，并在反渲染和其他基准测试中评估其性能。

    Feb, 2021

  • 逆向渲染中间接照明建模

    本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

    Apr, 2022

  • MAIR: 多视角注意力逆渲染技术与三维空间变异照明估计

    提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架，该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能，并可在任意 3D 位置进行逼真的物体插入。

    Mar, 2023

  • 扩散后照明技术用于模糊感知逆向渲染

    逆向渲染是从图像中推断场景属性的挑战性逆向问题。我们提出了一种新颖的方案，将预训练于自然照明图上的降噪扩散概率模型与可微分路径追踪器相结合，允许从自然且能解释图像观察的光照和空间变化的表面材料组合中进行采样，以恢复材料并生成高度逼真和多样化的环境贴图样本。

    Sep, 2023

  • IntrinsicAnything: 学习未知照明下反向渲染的扩散先验

    该研究旨在通过生成模型和扩散模型来恢复从 RGB 图像中的物体材料，并通过粗糙到精细的训练策略来提高稳定性和准确性。

    Apr, 2024

  • InverseRenderNet: 学习单张图像逆渲染

    通过使用完全卷积神经网络，我们展示了如何从单幅未受控制的图像执行反渲染。我们的网络使用大型未受控制的图像集进行训练，并通过引入可微分渲染器来进行自监督学习。同时，我们还通过学习一个统计的自然照明先验和离线多视图立体成像来提供额外的监督。这是第一次尝试使用多视图立体成像监督学习反渲染。

    Nov, 2018