分析神经辐射场的内部结构
作者提出了基于可微分不可视模块的 NeRF-ID 方法,该方法可以优化粗到精的采样策略,得到比 NeRF 和当前最先进算法更好的视图合成质量,并且显著降低计算时间。
Jun, 2021
本篇论文提出了一种新的方法,通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示,使用屏幕空间卷积,来提高外观的质量和整个框架的表现。
Apr, 2023
本研究提出了将本应在神经网络评估后再进行渲染的颜色,改为直接渲染出射线查询的特征向量,从而大幅降低了神经网络评估的复杂度和计算开销,并取得了较好的渲染质量。
May, 2023
本文介绍一种新的深度残差 MLP 网络用于学习 Neural Light Field(NeFL),通过从预训练的 NeRF 模型中转移知识进行数据精馏,以此消除 NeRF 的迭代采样问题,在合成和现实场景下的实验结果表明,与其他算法相比,我们的方法在节省计算资源和提高渲染质量方面具有明显的优势。
Mar, 2022
Neural rendering 研究中的新进展表明,尽管速度较慢,但隐式紧凑模型能够从多个视角学习场景的几何和视角相关外观。为了保持这样的小内存占用并实现更快的推断时间,最近的工作采用了‘采样器’网络,适应性地对隐式神经辐射场中的每条光线进行少量采样。尽管这些方法在渲染时间上实现了 10 倍的降低,但与基本 NeRF 相比仍然存在相当大的质量降低。相比之下,我们提出了 ProNeRF,它在内存占用(类似于 NeRF)和速度(比 HyperReel 更快)以及质量(比 K-Planes 更好)之间提供了最佳权衡。ProNeRF 配备了一种新颖的投影感知采样(PAS)网络以及一种用于光线探索和利用的新训练策略,实现了高效细粒度的粒子采样。我们的 ProNeRF 在指标方面表现出色,比 NeRF 快 15-23 倍,PSNR 比 NeRF 高 0.65dB,并且比最佳的基于采样器的方法 HyperReel 高 0.95dB。我们的探索与利用训练策略使得 ProNeRF 能够学习完整场景的颜色和密度分布,同时学习以最高密度区域为重点的高效光线采样。我们提供了广泛的实验结果,证明了我们的方法在广泛采用的前向和 360 数据集 LLFF 和 Blender 上的有效性。
Dec, 2023
该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法,它使用学习的稀疏体素网格表示,通过对神经辐射场(Neural Radiance Fields)进行预处理和存储(烘焙)来实现实时渲染。通过该方法,可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力,实现在普通硬件上进行实时渲染。
Mar, 2021
提出了一种名为 NeRDF 的新表示方法,旨在实现实时的高效视图合成,通过基频和频率权重的网络预测实现单像素每次只进行一次网络转发,并通过辐射分布进行体素渲染计算,相比现有方法在速度、质量和网络尺寸方面具有更好的权衡,实现了与 NeRF 相似的网络大小下约 254 倍的加速。
Aug, 2023