Light Field Networks: 单次计算渲染的神经场景表示

Jun, 2021

Light Field Networks: 单次计算渲染的神经场景表示

Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering

Vincent Sitzmann, Semon Rezchikov, William T. Freeman, Joshua B. Tenenbaum, Fredo Durand

TL;DR本文提出了一种新型的神经场景表示法，Light Field Networks (LFNs)，其可实现基于单一神经网络评估的 360 度四维光场参数化的几何和外观，通过元学习优化 LFNs 的先验使其能够从单个图像观察中实现多视角一致的光场重建，从而实现了实时渲染，并能够从 LFNs 中提取稀疏深度图。

Abstract

Inferring representations of 3D scenes from 2D observations is a fundamental problem of computer graphics, computer vision, and artificial intelligence. Emerging 3D-structured neural scene representations are a promising approach to 3d scene understanding. In this work, we propose a no

neural scene representation light field networks 3d scene understanding ray rendering meta-learning

发现论文，激发创造

从少量图像中学习具有泛化能力的光场网络

本文探讨了一种基于神经光场表示的少样本新视角合成策略，其使用了隐式神经网络将光线映射到目标像素的颜色，且通过由由粗略体积渲染产生的本地光线特征来确定网络的条件。该方法使用 3D ConvNet 构建的输入图像的 3D 特征体积，实现了比现有的神经辐射场方法更加快速且在合成和真实的 MVS 数据上取得了竞争性的性能。

Jul, 2022

NeuLF: 基于神经网络的 4D 光场高效新视角合成

本文提出了一种深度学习方法，用于复杂场景的新视角合成，通过将 3D 场景表示为光场，并采用两平面参数化的光场，用 4D 参数特征化光线，构建 4D 函数实现映射，最后采用全连接网络优化该函数并合成新视角，同时附加了 per-ray depth 预测，提高了光场渲染质量，实验表明本方法优于现有技术。

May, 2021

使用光线空间嵌入网络学习神经光场

本文提出了一种紧凑且直接预测射线上积分辐射度的新型神经光场表示方法，支持小基线光场数据集每像素一次网络评估的渲染，并可应用于大基线场景。

Dec, 2021

神经点光场

采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

Dec, 2021

LightSpeed：移动设备上轻量快速的神经光场

在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法（如 NeRF 及其衍生方法）在移动设备上使用不适宜，因为其计算成本高。然而，神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是，它是一种低维的射线表示方法，使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量，并在渲染质量和速度之间实现了显著的改进平衡。

Oct, 2023

轻场景神经渲染

本文提出了一种基于四维光场表示的双阶段变压器模型，旨在弥合几何重建和经典光场渲染之间的差距，通过强制约束几何约束，使得场景几何隐含在稀疏的视角学习中，并在多个前向和 360 度数据集上超越了最先进技术，尤其是在视角变化剧烈的情况下。

Dec, 2021

神经场遇上显式几何表示，逆向渲染城市场景

提出一种新的逆向渲染框架，能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明，并支持物理场景操作，例如射线跟踪阴影投射。

Apr, 2023

非监督式物体光场的发现与合成

本文提出了一种基于光场的物体中心化组合场景表示法，通过无监督的方式学习神经场景表示，显著提高了场景渲染的速度和质量。

May, 2022

使用神经辐射场表示场景进行视角合成

本文介绍了一种使用深度神经网络进行视图综合和图像合成的方法，通过连续的体积场函数来优化复杂场景的视图，并在神经辐射场方面取得了最新的研究成果。

Mar, 2020

NeILF: 基于神经网络的物理感材料估计的入射光场

本文提出了基于可微分渲染的方法，通过神经入射光场和多层感知机模擬的表面 BRDF 模型来实现多视图图像和重构几何体的物质和照明估计，该方法能够准确估计静态场景的照明，并可自然处理遮挡和间接光线，未需多次反射。我们在多个场景数据集上实验，结果表明本方法以显著的优势超越现有方法，成为图像物质和照明估计的新的最佳实践。

Mar, 2022