使用蒙特卡罗渲染和去噪从图像中分解形状、光线和材料

Jun, 2022

使用蒙特卡罗渲染和去噪从图像中分解形状、光线和材料

Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising

Jon Hasselgren, Nikolai Hofmann, Jacob Munkberg

TL;DR本文研究了不同渲染技术的发展，提出一种整合了射线追踪、蒙特卡罗积分、多种重要性采样和去噪的反渲染流程，可以有效地重建三角网格几何、材质和光照，改善材质和光照分离，并提高梯度优化的效果和收敛速度。

Abstract

Recent advances in differentiable rendering have enabled high-quality reconstruction of 3D scenes from multi-view images. Most methods rely on simple rendering algorithms: pre-filtered direct lighting or learned representations of irradiance. We show that a more realistic shading model

differentiable rendering ray tracing monte carlo integration inverse rendering denoising

发现论文，激发创造

利用可微分蒙特卡罗光线跟踪进行复杂室内场景的基于学习的反渲染

该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。

Nov, 2022

使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

Mar, 2021

NeFII：近场间接照明反演渲染下的反射分解

本文提出了一种端到端的反渲染算法，使用 Monte Carlo 路径追踪缓存间接光照信息，以实现物质和光照的分解，并通过内在神经辐射与路径追踪结果之间的辐射一致性约束及联合优化方法来提高分解表现，实验证明该方法在多个合成和真实数据集上的表现优于现有技术，尤其在互反分解方面。

Mar, 2023

用扩散模型去噪蒙特卡洛渲染

扩散模型对低分辨率图像进行去噪，利用自然渲染信息进行条件控制，与现有方法在不同采样率下有较强竞争力，但当前指标未能准确评估重建质量。

Mar, 2024

扩散后照明技术用于模糊感知逆向渲染

逆向渲染是从图像中推断场景属性的挑战性逆向问题。我们提出了一种新颖的方案，将预训练于自然照明图上的降噪扩散概率模型与可微分路径追踪器相结合，允许从自然且能解释图像观察的光照和空间变化的表面材料组合中进行采样，以恢复材料并生成高度逼真和多样化的环境贴图样本。

Sep, 2023

Eclipse: 利用意外阴影消除光照和材料的歧义

本研究旨在提出一种反演渲染方法，通过蒙特卡罗光线跟踪利用拍摄时物体上被意外产生的阴影作为信号，提高条件并帮助消除材料 - 光照的模糊性，从而精确恢复物体的材料，环境光照和灯光挡板的形状。

May, 2023

反向路径追踪用于联合材质和照明估计

Inverse Path Tracing 通过可逆光传输模拟，提出了一种新颖的方法，可以在保证物理正确性的情况下，同时获取室内场景中的光源和材料属性，并使用可微分的蒙特卡罗渲染器进行优化，以实现编辑和重渲染。

Mar, 2019

逆向渲染中间接照明建模

本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

Apr, 2022

IntrinsicAnything: 学习未知照明下反向渲染的扩散先验

该研究旨在通过生成模型和扩散模型来恢复从 RGB 图像中的物体材料，并通过粗糙到精细的训练策略来提高稳定性和准确性。

Apr, 2024

通过可微路径追踪，重建图像中的三维物体几何形状和 SVBRDF 材质

通过不同 iable ray tracing 优化初始粗略网格和每个网格面材质表示，从而实现从低分辨率输入视图中重建细粒度几何和材料细节，本文证明不同 geometry 的初始化对重建的影响，并展示如何在无约束环境中通过智能手机视频和消费者 360° 摄像机的输入来优化实际物体的初始重建。

Dec, 2020