Oct, 2023

Relit-NeuLF: 基于神经网络的高效重新照明和新视角综合

PDF
TL;DR本文提出了一种分析 - 合成方法 Relit-NeuLF，通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化，以实现对复杂场景的同时重照和新视角合成；通过自监督学习方法，该方法能够恢复三维场景的空间变化的双向反射分布函数（SVBRDF）；通过将每条光线映射到其 SVBRDF 组成部分（漫反射、法线和粗糙度）以及灯光方向的条件，实现光线颜色的合成；综合实验证明，该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能，并且优于最先进的结果。
发现论文，激发创造
  • NeuLF: 基于神经网络的 4D 光场高效新视角合成

    本文提出了一种深度学习方法，用于复杂场景的新视角合成，通过将 3D 场景表示为光场，并采用两平面参数化的光场，用 4D 参数特征化光线，构建 4D 函数实现映射，最后采用全连接网络优化该函数并合成新视角，同时附加了 per-ray depth 预测，提高了光场渲染质量，实验表明本方法优于现有技术。

    May, 2021

  • NeRV：用于重新照明和视图合成的神经反射率和可见性场

    该研究提供了一种基于连续体积参数化的方法，可以将场景表示为可以在新视点下进行渲染的 3D 表示，并且可在任意照明条件下呈现，包括间接光照效果，从而解决了以前的方法因光照环境变化而受限的问题。

    Dec, 2020

  • IllumiNeRF: 无需逆渲染的 3D 照明

    通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

    Jun, 2024

  • NeLF: 人像视角合成与重照神经光传输场

    本文提出了基于神经网络的多景象人像合成与灯光照射预测系统，它可以同时实现多视角下的人像合成与灯光照射预测，并在合成质量上达到了最先进水平。

    Jul, 2021

  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021

  • Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

    本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

    Jul, 2022

  • NeILF: 基于神经网络的物理感材料估计的入射光场

    本文提出了基于可微分渲染的方法，通过神经入射光场和多层感知机模擬的表面 BRDF 模型来实现多视图图像和重构几何体的物质和照明估计，该方法能够准确估计静态场景的照明，并可自然处理遮挡和间接光线，未需多次反射。我们在多个场景数据集上实验，结果表明本方法以显著的优势超越现有方法，成为图像物质和照明估计的新的最佳实践。

    Mar, 2022

  • R2L: 将神经辐射场精炼为神经光场以实现高效的新视角合成

    本文介绍一种新的深度残差 MLP 网络用于学习 Neural Light Field（NeFL），通过从预训练的 NeRF 模型中转移知识进行数据精馏，以此消除 NeRF 的迭代采样问题，在合成和现实场景下的实验结果表明，与其他算法相比，我们的方法在节省计算资源和提高渲染质量方面具有明显的优势。

    Mar, 2022

  • RTMV：基于光线追踪的多视图合成数据集，用于新视角合成

    提供了一种生成大规模综合数据集的方法，并且使用 Sparse Voxel Light Field (SVLF) 方法，该数据集比现有的数据集具有更高的精度，并提供更高效的方法进行训练和评估。

    May, 2022

  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023