Aug, 2023

使用阴影和高光提示重新照明神经辐射场

PDF
TL;DR本研究提出了一种新颖的神经隐式亮度表示方法，用于从一小组不规则的物体照片中进行自由视角重照。我们通过多层感知器将形状表示为有符号距离函数。与先前的隐式神经重照方法不同，我们没有分离不同的反射分量，而是通过第二个多层感知器在每个点上模拟局部和全局反射，并融合阴影和高光提示来辅助网络对应的高频光传输效果建模。在合成和真实场景中展示和验证了我们的神经隐式表示方法，这些场景具有各种形状、材料属性和全局光照传输。
neural implicit radiance representationfree viewpoint relightingunstructured photographssigned distance functionlight transport effects
发现论文，激发创造
  • 多视角卫星摄影测量的影子神经辐射场

    我们提出了一种新的通用方法，用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型，我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤，而不需要任何显式形状监督。

    Apr, 2021

  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • NeRV：用于重新照明和视图合成的神经反射率和可见性场

    该研究提供了一种基于连续体积参数化的方法，可以将场景表示为可以在新视点下进行渲染的 3D 表示，并且可在任意照明条件下呈现，包括间接光照效果，从而解决了以前的方法因光照环境变化而受限的问题。

    Dec, 2020

  • 神经场遇上显式几何表示，逆向渲染城市场景

    提出一种新的逆向渲染框架，能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明，并支持物理场景操作，例如射线跟踪阴影投射。

    Apr, 2023

  • 神经自由视点光泽间接照明照明

    本文提出了神经 - 小波 PRT 方法，用于高频间接照明的实时渲染，并演示了实时复杂场景的预计算渲染。

    Jul, 2023

  • IllumiNeRF: 无需逆渲染的 3D 照明

    通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

    Jun, 2024

  • Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

    本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

    Jul, 2022

  • 逆向渲染中间接照明建模

    本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

    Apr, 2022

  • 通过学习辐射传输梯度实现神经照明和次表面散射

    本文提出了一种基于体渲染的光传输场学习框架，利用各种外观线索来优化几何，扩展重建和重新照明的能力，提高对于具有亚表面散射效应等更多种材料的处理能力。

    Jun, 2023