Dec, 2023

可微分的基于点的逆渲染

PDF
TL;DR提出了可微分的基于点的反渲染方法，该方法通过对在不同光照下捕获的图像进行分析合成，估计形状和空间变化的 BRDF。利用混合的基于点和基于体素的几何表示进行快速渲染，并通过正则化基函数的 BRDF 表示来缓解反渲染的无意义性。通过点阴影图渲染提出了一种高效的阴影检测方法。在计算准确性、计算效率和内存占用等方面，DPIR 优于之前的工作。同时，显式的基于点的表示和渲染使得几何和反射的编辑变得直观。
differentiable point-based inverse renderingshape estimationspatially-varying brdfhybrid point-volumetric representationshadow detection method
发现论文，激发创造
  • DIB-R++：混合可微分渲染器的光照和材质预测学习

    该论文提出了一种混合不同 iable 引擎，它支持光照和材质等照片级别的效果，甚至可以处理一些 “非兰伯特” 和 “高光” 等效果。拥有优秀的性能并且不需要任何地面真实数据，可以从单个图像中实现几何、反射和光照预测。

    Oct, 2021

  • SIRe-IR：高照度场景下具有阴影和光照去除的 BRDF 重建的反渲染

    SIRe-IR 是一种基于非线性映射和正则化能见度估计的隐式神经反渲染方法，能够准确地将场景分解为环境贴图、反射率和粗糙度，并能够同时模拟间接辐射场、法线、能见度和直接光，从而消除材质中的阴影和间接照明。SIRe-IR 在定量和定性评估中均优于现有方法。

    Oct, 2023

  • 基于 SDF 的神经点场模型 SPIDR：用于光照与形变的

    本文提出了一种新型的混合神经 SDF 表示方法 SPIDR，专门用于解决 NeRF 方法在渲染图像中难以显示物体形状、反射和光照等属性的问题，并结合阴影映射技术和神经隐式模型来更精准地进行几何编辑和场景照明更新。

    Oct, 2022

  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • 利用可微分蒙特卡罗光线跟踪进行复杂室内场景的基于学习的反渲染

    该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。

    Nov, 2022

  • IRIS：从低动态范围图像中反渲染室内场景

    从多视角、低动态范围（LDR）图像中恢复场景的基于物理的材质属性和空间变化的高动态范围（HDR）照明，实现了高度逼真的重照和物体插入。

    Jan, 2024

  • 点级别三维场景反射率和阴影编辑的本质峰均比

    我们提出了一种基于最新的点云神经渲染技术 Proximity Attention Point Rendering（PAPR）的新方法 “Intrinsic PAPR”，该方法直接对场景分解为颜色和阴影组件进行建模，以实现更好的估计准确性，并在与最新的点云反渲染方法的比较评估中展现出更高质量的新视角渲染和更优越的点级颜色和阴影编辑。

    Jun, 2024

  • GS-IR: 逆渲染的三维高斯散射

    我们提出了 GS-IR，一种基于 3D 高斯零碎描绘的新型逆向渲染方法，利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。我们通过对多视图图像进行捕捉，从未知照明条件中估计场景几何、表面材质和环境照明，克服了先前使用隐式神经表示和体积渲染（如 NeRF）的方法在表达能力和计算复杂性上的问题。我们的 GS-IR 通过引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照，提出了一个高效的优化方案来解决 GS 引入逆向渲染时遇到的问题。灵活且具有表现力的 GS 表示使我们能够实现快速紧凑的几何重建、逼真的新视角合成和有效的基于物理的渲染。通过在各种具有挑战性的场景上进行定性和定量评估，我们证明了我们的方法的优越性。

    Nov, 2023

  • SIR： 室内场景的多视角可分解阴影逆渲染

    我们提出了一种高效的方法 SIR，用于室内场景的逆向渲染，通过使用多视角数据来分解可微阴影，解决了在准确分解材料和照明条件方面的挑战。

    Feb, 2024

  • 扩散后照明技术用于模糊感知逆向渲染

    逆向渲染是从图像中推断场景属性的挑战性逆向问题。我们提出了一种新颖的方案，将预训练于自然照明图上的降噪扩散概率模型与可微分路径追踪器相结合，允许从自然且能解释图像观察的光照和空间变化的表面材料组合中进行采样，以恢复材料并生成高度逼真和多样化的环境贴图样本。

    Sep, 2023