动态 PlenOctree 在显式 NeRF 中的自适应采样细化
该研究提出了一种使用 PlenOctrees 进行神经辐射场(NeRFs)实时渲染的方法,以支持视角相关的效果,该方法可在保证渲染质量的情况下渲染 800x800 像素以上的图像,并能在 150 FPS 以上的速度下运行。
Mar, 2021
本文提出一种基于广义 NeRF、PlenOctree 表示、体积融合和 Fourier 变换的 Fourier PlenOctree 技术,能够高效地对动态场景进行神经建模和实时渲染,实现超过 SOTA 的渲染加速。
Feb, 2022
通过对动态模型中的压缩引入的伪影进行深入分析,并利用所得的见解提出一种改进的表示方法,特别是提出了一种根据基于 Fourier 的压缩来适应底层体渲染过程的传递函数特征的新密度编码,从而显著减少动态模型中的伪影。此外,通过对训练数据的扩充来放松压缩的周期性假设。在合成和真实场景的定量和定性评估范围内展示了增强的 Fourier PlenOctrees 的有效性。
Oct, 2023
该论文提出了一种名为 DONeRF 的紧凑型深度预测神经网络设计,通过将样本放置在场景中的表面上,不会损失图像质量的前提下,可将每个视角光线所需的样本数量大大降低,在渲染合成内容时,相比 NeRF 减少了高达 48 倍的推理成本。
Mar, 2021
通过引入八叉树结构以不同比例表示场景,将传统的基于网格的细节层次技术扩展到神经辐射场,提供了数学简洁、优雅的表示,同时保持渲染空间复杂度为 O (log n)。同时,我们提出了一种新的训练策略,保证了方法的可扩展性和效率,既扩展了现有技术的能力,又为使用 NeRF 和八叉树结构进行可扩展、高效的大规模场景表示奠定了基础。
Mar, 2024
Neural rendering 研究中的新进展表明,尽管速度较慢,但隐式紧凑模型能够从多个视角学习场景的几何和视角相关外观。为了保持这样的小内存占用并实现更快的推断时间,最近的工作采用了‘采样器’网络,适应性地对隐式神经辐射场中的每条光线进行少量采样。尽管这些方法在渲染时间上实现了 10 倍的降低,但与基本 NeRF 相比仍然存在相当大的质量降低。相比之下,我们提出了 ProNeRF,它在内存占用(类似于 NeRF)和速度(比 HyperReel 更快)以及质量(比 K-Planes 更好)之间提供了最佳权衡。ProNeRF 配备了一种新颖的投影感知采样(PAS)网络以及一种用于光线探索和利用的新训练策略,实现了高效细粒度的粒子采样。我们的 ProNeRF 在指标方面表现出色,比 NeRF 快 15-23 倍,PSNR 比 NeRF 高 0.65dB,并且比最佳的基于采样器的方法 HyperReel 高 0.95dB。我们的探索与利用训练策略使得 ProNeRF 能够学习完整场景的颜色和密度分布,同时学习以最高密度区域为重点的高效光线采样。我们提供了广泛的实验结果,证明了我们的方法在广泛采用的前向和 360 数据集 LLFF 和 Blender 上的有效性。
Dec, 2023
通过将场景自适应地细分为轴对齐的包围盒,并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间,该论文提出了一种有效的适应性多 NeRF 方法,以加速针对复杂场景的神经渲染过程,以实现对特定场景部分的精细神经表示。
Oct, 2023
介绍了一种称为 TiNeuVox 的辐射场框架,通过时间感知体素特征表示场景,进一步强化了时间信息,提出了多距离插值方法,以模拟小和大的动作,加快了动态辐射场的优化,并在合成和真实场景上经过实证评估,表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。
May, 2022
我们介绍了一种新的方法,用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同,我们提出了一种混合场景表示,它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做,我们结合了两个世界的优势,通过保留优化过程中的有利行为:我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染,同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外,我们以交互帧率实现了快速推断,并可以提取显式点云以进一步提高性能。
Mar, 2024