ProNeRF：学习高效的投影感知射线采样以获取细粒度的隐式神经辐射场

Dec, 2023

ProNeRF：学习高效的投影感知射线采样以获取细粒度的隐式神经辐射场

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

Juan Luis Gonzalez Bello, Minh-Quan Viet Bui, Munchurl Kim

TL;DRNeural rendering 研究中的新进展表明，尽管速度较慢，但隐式紧凑模型能够从多个视角学习场景的几何和视角相关外观。为了保持这样的小内存占用并实现更快的推断时间，最近的工作采用了‘采样器’网络，适应性地对隐式神经辐射场中的每条光线进行少量采样。尽管这些方法在渲染时间上实现了 10 倍的降低，但与基本 NeRF 相比仍然存在相当大的质量降低。相比之下，我们提出了 ProNeRF，它在内存占用（类似于 NeRF）和速度（比 HyperReel 更快）以及质量（比 K-Planes 更好）之间提供了最佳权衡。ProNeRF 配备了一种新颖的投影感知采样（PAS）网络以及一种用于光线探索和利用的新训练策略，实现了高效细粒度的粒子采样。我们的 ProNeRF 在指标方面表现出色，比 NeRF 快 15-23 倍，PSNR 比 NeRF 高 0.65dB，并且比最佳的基于采样器的方法 HyperReel 高 0.95dB。我们的探索与利用训练策略使得 ProNeRF 能够学习完整场景的颜色和密度分布，同时学习以最高密度区域为重点的高效光线采样。我们提供了广泛的实验结果，证明了我们的方法在广泛采用的前向和 360 数据集 LLFF 和 Blender 上的有效性。

Abstract

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler'

neural rendering implicit compact models sampler networks ray sampling pronerf

发现论文，激发创造

NeRF 详解：学习采样进行视图合成

作者提出了基于可微分不可视模块的 NeRF-ID 方法，该方法可以优化粗到精的采样策略，得到比 NeRF 和当前最先进算法更好的视图合成质量，并且显著降低计算时间。

Jun, 2021

高效射线采样用于辐射场重建

通过改进射线采样方法，在保持真实感渲染结果的同时提高了神经辐射场训练的效率，加快了神经网络的收敛速度并更准确地感知场景的空间几何结构。

Aug, 2023

EfficientNeRF: 高效神经辐射场

本文提出 EfficientNeRF，一种高效的基于 NeRF 的方法，用于表示 3D 场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法，以显著提高采样效率。同时，设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明，本方法可以缩短 88% 以上的训练时间，实现超过 200 FPS 的渲染速度，而仍保持竞争力的准确性，从而促进 NeRF 在现实世界中的实际应用和推广。

Jun, 2022

金字塔神经辐射场 PyNeRF

通过在不同空间网格分辨率上训练模型头部，我们对基于网格的模型进行简单修改，以实现容易的扩展，提高渲染质量和性能效率。

Nov, 2023

NeuSample: 面向高效视图合成的神经样本域

本文介绍了一种名为 NeuSample 的新型神经采样场，用于生成 3D 场景，实现了更好的渲染质量并在推理速度上提升了性能。

Nov, 2021

分析神经辐射场的内部结构

介绍了一种利用基于 MLP 的 NeRFs 及其 proposal network samplers 加速的方法，该方法可以在不改变训练协议或架构的情况下，将所需计算的时间减少了 50%，同时对渲染质量的影响微乎其微。

Jun, 2023

FastNeRF: 高保真神经渲染，200FPS

文章提出了 FastNeRF 方法，通过图形学中的因式分解实现深度辐射图的高效缓存和查询，可在高端消费者 GPU 上以 200Hz 的速率呈现高保真度的照片般逼真的图像，比原始 NeRF 算法快 3000 倍，同时保持视觉质量和可扩展性。

Mar, 2021

自适应多 NeRF：利用自适应多尺度神经辐射场渲染中的高效并行性

通过将场景自适应地细分为轴对齐的包围盒，并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间，该论文提出了一种有效的适应性多 NeRF 方法，以加速针对复杂场景的神经渲染过程，以实现对特定场景部分的精细神经表示。

Oct, 2023

NerfAcc：高效采样加速 NeRFs

本文研究和比较多种采样方法，并展示改善采样方法通常适用于 NeRF 变体，利用透射率估计器概括统一概念。我们开发了一个 Python 工具箱，名为 NerfAcc，提供灵活的 API，用于将高级采样方法纳入 NeRF 相关的方法中。我们演示了它的灵活性，通过对现有代码库进行最小限度的修改，将几种最近的 NeRF 方法的训练时间缩短了 1.5 倍至 20 倍。此外，可以使用 NerfAcc 在本地 PyTorch 中实现高度定制的 NeRF，例如 Instant-NGP。

May, 2023

DONeRF: 使用深度预测网络实现紧凑神经辐射场的实时渲染

该论文提出了一种名为 DONeRF 的紧凑型深度预测神经网络设计，通过将样本放置在场景中的表面上，不会损失图像质量的前提下，可将每个视角光线所需的样本数量大大降低，在渲染合成内容时，相比 NeRF 减少了高达 48 倍的推理成本。

Mar, 2021