压缩显式体素网格表示:快速 NeRFs 变得更小
我们提出了一种超快速收敛的方法,通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成,该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观,同时采用了后激活插值和一些先验约束技术,从而使训练时间缩短到 15 分钟以内,并达到了前沿的质量水平。
Nov, 2021
该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法,使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩,引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性,实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。
Jun, 2024
该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法,它使用学习的稀疏体素网格表示,通过对神经辐射场(Neural Radiance Fields)进行预处理和存储(烘焙)来实现实时渲染。通过该方法,可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力,实现在普通硬件上进行实时渲染。
Mar, 2021
我们研究了一种基于隐式 - 显式方法的密度场重建和渲染的方案,以在处理反射场景时在效率和质量之间取得均衡,并提出了关于影响重建反射对象结果的因素的假设。
Aug, 2023
本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景,该方法包括两个模块,采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度,并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明,本方法在仅用 20 分钟的训练时间下,达到了与 D-NeRF 相当的性能,比 D-NeRF 快 70 倍以上,显示了该方法的高效性。
Jun, 2022
VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法,通过构建结构化场景几何并将其转换为基于体素的表示,以及采用独特的基于体素引导的高效采样技术,成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant-NGP,推动了该技术向实时化发展。
Nov, 2023
我们介绍了一种基于上下文的 NeRF 压缩 (CNC) 框架,利用高效的上下文模型提供储存友好的 NeRF 表示。我们通过挖掘层级和维度上的上下文依赖以减少信息熵,同时利用哈希碰撞和占用栅格作为强先验知识进行更好的上下文建模,实现了对 Synthesic-NeRF 和 Tanks and Temples 数据集上基准 Instant-NGP 的体积降低 100 倍和 70 倍,对 SOTA NeRF 压缩方法 BiRF 实现了 86.7% 和 82.3% 的存储空间减少。
Jun, 2024
Hyb-NeRF 是一种新颖的神经辐射场,具有多分辨率混合编码,实现了高效的神经建模和快速渲染,同时允许高质量的新视角合成。它通过从粗到细的分辨率级别使用不同的编码策略来表示场景,并利用可学习的位置特征以及基于哈希的特征网格的快速优化速度和局部细节。此外,为了进一步提高性能,还将锥形跟踪特征嵌入到可学习的位置编码中,消除了编码的歧义性并减少了走样伪影。广泛的合成和实际数据集实验证明,与以往最先进方法相比,Hyb-NeRF 在更快的渲染速度、更好的渲染质量和更低的内存占用方面取得了优势。
Nov, 2023