NeRF 详解:学习采样进行视图合成
提出了一种名为 NeRDF 的新表示方法,旨在实现实时的高效视图合成,通过基频和频率权重的网络预测实现单像素每次只进行一次网络转发,并通过辐射分布进行体素渲染计算,相比现有方法在速度、质量和网络尺寸方面具有更好的权衡,实现了与 NeRF 相似的网络大小下约 254 倍的加速。
Aug, 2023
Neural rendering 研究中的新进展表明,尽管速度较慢,但隐式紧凑模型能够从多个视角学习场景的几何和视角相关外观。为了保持这样的小内存占用并实现更快的推断时间,最近的工作采用了‘采样器’网络,适应性地对隐式神经辐射场中的每条光线进行少量采样。尽管这些方法在渲染时间上实现了 10 倍的降低,但与基本 NeRF 相比仍然存在相当大的质量降低。相比之下,我们提出了 ProNeRF,它在内存占用(类似于 NeRF)和速度(比 HyperReel 更快)以及质量(比 K-Planes 更好)之间提供了最佳权衡。ProNeRF 配备了一种新颖的投影感知采样(PAS)网络以及一种用于光线探索和利用的新训练策略,实现了高效细粒度的粒子采样。我们的 ProNeRF 在指标方面表现出色,比 NeRF 快 15-23 倍,PSNR 比 NeRF 高 0.65dB,并且比最佳的基于采样器的方法 HyperReel 高 0.95dB。我们的探索与利用训练策略使得 ProNeRF 能够学习完整场景的颜色和密度分布,同时学习以最高密度区域为重点的高效光线采样。我们提供了广泛的实验结果,证明了我们的方法在广泛采用的前向和 360 数据集 LLFF 和 Blender 上的有效性。
Dec, 2023
本文提出 EfficientNeRF,一种高效的基于 NeRF 的方法,用于表示 3D 场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法,以显著提高采样效率。同时,设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明,本方法可以缩短 88% 以上的训练时间,实现超过 200 FPS 的渲染速度,而仍保持竞争力的准确性,从而促进 NeRF 在现实世界中的实际应用和推广。
Jun, 2022
NeRF-SR 是一种高分辨率、低分辨率输入的新视角综合解决方案,基于神经放射场,利用超采样策略和改进网络,在没有外部信息的情况下,实现了高质量的新视角合成。
Dec, 2021
介绍了一种利用基于 MLP 的 NeRFs 及其 proposal network samplers 加速的方法,该方法可以在不改变训练协议或架构的情况下,将所需计算的时间减少了 50%,同时对渲染质量的影响微乎其微。
Jun, 2023
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022
该论文提出了一种基于光线追踪的方法来解决 Neural Radiance Fields(NeRFs)在渲染高光物体时的困难,并成功合成了真实世界场景中的光泽外观和反射,同时优化和渲染速度与当前状态 - of-the-art 视图合成模型相当。
May, 2024
本文介绍一种新的深度残差 MLP 网络用于学习 Neural Light Field(NeFL),通过从预训练的 NeRF 模型中转移知识进行数据精馏,以此消除 NeRF 的迭代采样问题,在合成和现实场景下的实验结果表明,与其他算法相比,我们的方法在节省计算资源和提高渲染质量方面具有明显的优势。
Mar, 2022