神经点光场
本文探讨了一种基于神经光场表示的少样本新视角合成策略,其使用了隐式神经网络将光线映射到目标像素的颜色,且通过由由粗略体积渲染产生的本地光线特征来确定网络的条件。该方法使用 3D ConvNet 构建的输入图像的 3D 特征体积,实现了比现有的神经辐射场方法更加快速且在合成和真实的 MVS 数据上取得了竞争性的性能。
Jul, 2022
我们介绍了一种新的方法,用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同,我们提出了一种混合场景表示,它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做,我们结合了两个世界的优势,通过保留优化过程中的有利行为:我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染,同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外,我们以交互帧率实现了快速推断,并可以提取显式点云以进一步提高性能。
Mar, 2024
在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法(如 NeRF 及其衍生方法)在移动设备上使用不适宜,因为其计算成本高。然而,神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是,它是一种低维的射线表示方法,使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量,并在渲染质量和速度之间实现了显著的改进平衡。
Oct, 2023
该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示,通过自监督训练神经网络能够在单个前向传递中预测该场景表示,并且可以在深度预测和新视角合成方面进行体积渲染。实验表明,该方法能够预测出输入图像中遮挡区域的有意义几何信息。
Jan, 2023
本研究提出了一种新的深度场景表示方法 —— 神经反射场,该方法使用全连接的神经网络编码场景中任意 3D 点的体密度、法线和反射属性,并将其与可微分的物理模型相结合,从而能在任意视点和光照条件下渲染图像,实现高质量的视角合成和照明重建。
Aug, 2020
本文提出了一种新型的神经场景表示法,Light Field Networks (LFNs),其可实现基于单一神经网络评估的 360 度四维光场参数化的几何和外观,通过元学习优化 LFNs 的先验使其能够从单个图像观察中实现多视角一致的光场重建,从而实现了实时渲染,并能够从 LFNs 中提取稀疏深度图。
Jun, 2021
本文提出了一种基于四维光场表示的双阶段变压器模型,旨在弥合几何重建和经典光场渲染之间的差距,通过强制约束几何约束,使得场景几何隐含在稀疏的视角学习中,并在多个前向和 360 度数据集上超越了最先进技术,尤其是在视角变化剧烈的情况下。
Dec, 2021
本研究提出了将本应在神经网络评估后再进行渲染的颜色,改为直接渲染出射线查询的特征向量,从而大幅降低了神经网络评估的复杂度和计算开销,并取得了较好的渲染质量。
May, 2023