CVPRNov, 2019

基于神经网络的自由视点照明渲染框架

PDF
TL;DR本文提出了一种新颖的可重光的神经渲染器（RNR），可以使用多视图图像输入进行同时视图合成和重光。与现有的神经渲染（NR）不同，RNR 明确建模物理渲染过程，从而提高了调光的能力，并提高了视图合成的质量。对合成和真实数据的全面实验表明，RNR 为进行自由视点重光提供了实用有效的解决方案。
发现论文，激发创造
  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021

  • IllumiNeRF: 无需逆渲染的 3D 照明

    通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

    Jun, 2024

  • Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

    本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

    Jul, 2022

  • ReLight My NeRF: 用于真实世界物体的新视角综合和重光数据集

    针对如何从神经光辐射场（NeRF）中渲染新视角的问题，本文介绍了 ReNe (重新照明 NeRF) 数据集，细分了现实世界中的物体以及光与相机姿态，通过该数据集，可以表明 NeRF varients 的光照能力，进而确定了一种轻量级体系结构，以获得一种能够在新的光照条件下呈现对象新视角的方案，并用于该数据集的非平凡基线。

    Apr, 2023

  • Relit-NeuLF: 基于神经网络的高效重新照明和新视角综合

    本文提出了一种分析 - 合成方法 Relit-NeuLF，通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化，以实现对复杂场景的同时重照和新视角合成；通过自监督学习方法，该方法能够恢复三维场景的空间变化的双向反射分布函数（SVBRDF）；通过将每条光线映射到其 SVBRDF 组成部分（漫反射、法线和粗糙度）以及灯光方向的条件，实现光线颜色的合成；综合实验证明，该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能，并且优于最先进的结果。

    Oct, 2023

  • 室外场景重光照下的 NeRF

    利用神经辐射场模型，通过对野外拍摄的照片的同时处理来实现对室外场景的光照和视角的编辑，并与 SoTA 进行比较，其结果表明，该方法可实现更高质量和更逼真的自阴影重现。

    Dec, 2021

  • 快速神经辐射场重建的体积特征渲染

    本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

    May, 2023

  • NeLF: 人像视角合成与重照神经光传输场

    本文提出了基于神经网络的多景象人像合成与灯光照射预测系统，它可以同时实现多视角下的人像合成与灯光照射预测，并在合成质量上达到了最先进水平。

    Jul, 2021

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • 通用补丁基础神经渲染

    该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。

    Jul, 2022