高效射线采样用于辐射场重建
本文提出 EfficientNeRF,一种高效的基于 NeRF 的方法,用于表示 3D 场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法,以显著提高采样效率。同时,设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明,本方法可以缩短 88% 以上的训练时间,实现超过 200 FPS 的渲染速度,而仍保持竞争力的准确性,从而促进 NeRF 在现实世界中的实际应用和推广。
Jun, 2022
Neural rendering 研究中的新进展表明,尽管速度较慢,但隐式紧凑模型能够从多个视角学习场景的几何和视角相关外观。为了保持这样的小内存占用并实现更快的推断时间,最近的工作采用了‘采样器’网络,适应性地对隐式神经辐射场中的每条光线进行少量采样。尽管这些方法在渲染时间上实现了 10 倍的降低,但与基本 NeRF 相比仍然存在相当大的质量降低。相比之下,我们提出了 ProNeRF,它在内存占用(类似于 NeRF)和速度(比 HyperReel 更快)以及质量(比 K-Planes 更好)之间提供了最佳权衡。ProNeRF 配备了一种新颖的投影感知采样(PAS)网络以及一种用于光线探索和利用的新训练策略,实现了高效细粒度的粒子采样。我们的 ProNeRF 在指标方面表现出色,比 NeRF 快 15-23 倍,PSNR 比 NeRF 高 0.65dB,并且比最佳的基于采样器的方法 HyperReel 高 0.95dB。我们的探索与利用训练策略使得 ProNeRF 能够学习完整场景的颜色和密度分布,同时学习以最高密度区域为重点的高效光线采样。我们提供了广泛的实验结果,证明了我们的方法在广泛采用的前向和 360 数据集 LLFF 和 Blender 上的有效性。
Dec, 2023
提出了一种名为 NeRDF 的新表示方法,旨在实现实时的高效视图合成,通过基频和频率权重的网络预测实现单像素每次只进行一次网络转发,并通过辐射分布进行体素渲染计算,相比现有方法在速度、质量和网络尺寸方面具有更好的权衡,实现了与 NeRF 相似的网络大小下约 254 倍的加速。
Aug, 2023
作者提出了基于可微分不可视模块的 NeRF-ID 方法,该方法可以优化粗到精的采样策略,得到比 NeRF 和当前最先进算法更好的视图合成质量,并且显著降低计算时间。
Jun, 2021
该论文提出了一种改进 NeRF 渲染质量的近表面采样框架,通过估计 3D 场景的表面,只在表面周围进行采样,从而提高了渲染质量,并且能够显著加速 NeRF 模型的训练时间。
Oct, 2023
KeyNeRF 是一种在少样本情况下训练 NeRF 的简单而有效的方法,通过关注关键信息光线,首先通过一个视图选择算法在相机级别选择这样的光线,该算法在促进基线多样性的同时保证场景全面覆盖,然后通过基于局部图像熵的概率分布进行像素级的采样。我们的方法在与最先进的方法进行比较时表现出色,同时对现有的 NeRF 代码库的改动要求较小。
Dec, 2023
本文研究和比较多种采样方法,并展示改善采样方法通常适用于 NeRF 变体,利用透射率估计器概括统一概念。我们开发了一个 Python 工具箱,名为 NerfAcc,提供灵活的 API,用于将高级采样方法纳入 NeRF 相关的方法中。我们演示了它的灵活性,通过对现有代码库进行最小限度的修改,将几种最近的 NeRF 方法的训练时间缩短了 1.5 倍至 20 倍。此外,可以使用 NerfAcc 在本地 PyTorch 中实现高度定制的 NeRF,例如 Instant-NGP。
May, 2023