我们提出了 GS-IR，一种基于 3D 高斯零碎描绘的新型逆向渲染方法，利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。我们通过对多视图图像进行捕捉，从未知照明条件中估计场景几何、表面材质和环境照明，克服了先前使用隐式神经表示和体积渲染（如 NeRF）的方法在表达能力和计算复杂性上的问题。我们的 GS-IR 通过引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照，提出了一个高效的优化方案来解决 GS 引入逆向渲染时遇到的问题。灵活且具有表现力的 GS 表示使我们能够实现快速紧凑的几何重建、逼真的新视角合成和有效的基于物理的渲染。通过在各种具有挑战性的场景上进行定性和定量评估，我们证明了我们的方法的优越性。

Nov, 2023

本文提出了一种用于室内场景的统一、基于学习的逆渲染框架，包括反照率、法线、深度和三维空间变化的照明的联合估计，其中设计了一种基于物理学的可微渲染器，利用我们的三维照明表示，形成能量守恒的图像形成过程，实现所有内在属性的联合训练，以重新渲染约束保证物理正确性，实验表明，该方法在量化和质量上优于之前的工作，能够为增强现实应用（例如虚拟物体插入）产生逼真的结果，即使对于高度镜面的物体也是如此。

Sep, 2021

我们提出了一种新颖的可微分的基于点的渲染框架，用于从多视图图像中进行材料和光照分解，实现对 3D 点云的编辑、光线跟踪和实时换光。

Nov, 2023

本研究提出了一种名为 GaNI 的全球和近场照明感知的神经逆渲染技术，能够从光和相机共同拍摄的场景图像中重建几何、反射率和粗糙度参数。我们通过两个阶段的方法来解决现有的逆渲染技术只能针对单个物体的问题，首先利用神经体积渲染 NeuS 重建几何，然后使用先前预测的几何来估计反射率和粗糙度。实验证明，我们的方法在合成和真实数据上表现优于现有的基于光和相机共同拍摄的逆渲染技术，能够产生更好的反射率和略微更好的几何。

Mar, 2024

SIRe-IR 是一种基于非线性映射和正则化能见度估计的隐式神经反渲染方法，能够准确地将场景分解为环境贴图、反射率和粗糙度，并能够同时模拟间接辐射场、法线、能见度和直接光，从而消除材质中的阴影和间接照明。SIRe-IR 在定量和定性评估中均优于现有方法。

Oct, 2023

该研究提出一种逆向渲染方法，通过多视角图像恢复场景的表面、材质和光照，可以处理具有光泽物体或亮光照明场景，无需使用附加数据，三个阶段的方法通过漫反射和镜面颜色考虑复杂视角依赖光照效果对表面重构，该方法在不依赖任何附加数据的情况下，优于当前状态下表面材质和光照恢复的最佳方法。

May, 2023

本研究提出了一种端到端的反演渲染管道，该管道包括可完全不可微的渲染器，可以从一组 RGB 输入图像重新构建几何，材料和照明，并使用球形高斯混合表示光谱 BRDF 和环境光，并将几何表示为一个多层感知器参数化的有符号距离函数。使用球形高斯函数使我们能够有效地求解近似光传输问题，并且我们的方法适用于在自然的静态照明下捕获的具有挑战性的非 Lambertian 反射场景。我们证明了我们的重构不仅使新视点的渲染成为可能，而且还可以对材料和照明进行物理基础的外观编辑。

Apr, 2021

我们介绍了一种新的框架，使用数据驱动方法来模拟和校准摄像机 - 光源系统，并应用于创建一种可重新照明的 3D 高斯场景模型，从而实现了从新的视点进行实时、逼真渲染的能力，并展示了我们所提出的模拟器和系统在各种实际环境中的适用性和强健性。

Mar, 2024

本文提出了一种端到端的反渲染算法，使用 Monte Carlo 路径追踪缓存间接光照信息，以实现物质和光照的分解，并通过内在神经辐射与路径追踪结果之间的辐射一致性约束及联合优化方法来提高分解表现，实验证明该方法在多个合成和真实数据集上的表现优于现有技术，尤其在互反分解方面。

Mar, 2023

本文提出了一种新型生成对抗渲染器（Generative Adversarial Renderer，简称 GAR）和用于预测 3D 面部参数的优化方法，该 GAR 利用神经渲染器而非传统的渲染规则来产生逼真图像，从而增强了训练和优化的稳定性，并在多个人脸重建数据集上取得了最新成果。

May, 2021