Aug, 2020

神经反射场的外观获取

PDF
TL;DR本研究提出了一种新的深度场景表示方法 —— 神经反射场，该方法使用全连接的神经网络编码场景中任意 3D 点的体密度、法线和反射属性，并将其与可微分的物理模型相结合，从而能在任意视点和光照条件下渲染图像，实现高质量的视角合成和照明重建。
neural reflectance fieldsdeep scene representationphysically-based renderingview synthesisrelighting
发现论文，激发创造
  • S$^3$-NeRF：单视角下通过遮挡和阴影得出的神经反射场

    利用单视图图像下不同点光源捕捉来学习神经场景表示，利用阴影和明暗等单目线索推断场景几何，并学习神经反射场，用于代表场景 3D 几何和 BRDF。实验表明，该方法能够从单视图图像中恢复场景的 3D 几何，包括可见和不可见部分，适用于新视角合成和再照明等应用。

    Oct, 2022

  • 神经面部反射场的单目重建

    本研究提出一种基于神经表示的脸部反射模型，通过单张图像的估计来生成基于光照、视角和脸部几何变换的脸部反射基，可用于在任何光照条件下从任何视角渲染脸部，其能更好地捕捉诸如亚表面散射、镜面效应、自身阴影和其他高阶效应等物理基元，进而提高光照模型的仿真度。

    Aug, 2020

  • NeRV：用于重新照明和视图合成的神经反射率和可见性场

    该研究提供了一种基于连续体积参数化的方法，可以将场景表示为可以在新视点下进行渲染的 3D 表示，并且可在任意照明条件下呈现，包括间接光照效果，从而解决了以前的方法因光照环境变化而受限的问题。

    Dec, 2020

  • 利用反射场的神经投影映射

    本文提出利用神经投影映射技术在增强现实应用中实现对投影仪的高分辨率自适应校准和照片级别的光线编辑。通过将虚拟投影纹理与场景参数全微分，可以优化得到所需的外观。此外，本文展示了在材料和场景重建等方面，较传统方法更好的性能。

    Jun, 2023

  • 幕后之王：用密度场进行单视角重建

    该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示，通过自监督训练神经网络能够在单个前向传递中预测该场景表示，并且可以在深度预测和新视角合成方面进行体积渲染。实验表明，该方法能够预测出输入图像中遮挡区域的有意义几何信息。

    Jan, 2023

  • NeRFReN: 具有反射特性的神经辐射场

    该研究提出了 NeRFReN，它是基于 NeRF 的，能够建模带有反射的场景，并将场景分为透射和反射组件，用单独的神经辐射场来建模两个组件，以实现高质量的新视图综合和深度估计结果。

    Nov, 2021

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • Ref-NeRF: 神经辐射场的结构化视角依赖外观

    Ref-NeRF 通过替换 NeRF 的视角相关的出射辐射参数化为反射辐射参数来提高 NeRF 方法表示高光表面外观的准确性，并且使用一系列空间变化场景属性来构造该函数结构，同时结合法线向量的正则化，可以实现更加真实和准确的高光反射，此外，我们的模型的内部表示也具有可解释性，用于场景编辑。

    Dec, 2021

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • 透明和镜面对象的神经折射 - 反射场中的 3D 重建和视图合成

    本文介绍了一种新的方法，即折射 - 反射场，用于解决透明和镜面对象合成中的光线路径复杂性问题，并提出了一种虚拟锥超采样技术实现高效且有效的抗锯齿。通过在真实世界和合成数据集上进行测试，并对各种编辑应用进行定量和定性评估，包括材料编辑、对象替换 / 插入和环境照明估计，我们对该方法进行了基准测试。

    Sep, 2023