神经 NeRF 压缩

ICMLJun, 2024

Neural NeRF Compression

Tuan Pham, Stephan Mandt

TL;DR该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法，使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩，引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性，实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。

Abstract

neural radiance fields (NeRFs) have emerged as powerful tools for capturing detailed 3D scenes through continuous volumetric representations. Recent NeRFs utilize feature grids to improve rendering quality and speed; however, these representations introduce significant storage overhead

neural radiance fields grid-based nerf model non-linear transform coding neural compression spatial inhomogeneity

发现论文，激发创造

NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

Apr, 2024

金字塔神经辐射场 PyNeRF

通过在不同空间网格分辨率上训练模型头部，我们对基于网格的模型进行简单修改，以实现容易的扩展，提高渲染质量和性能效率。

Nov, 2023

CAwa-NeRF：即时学习压缩感知的 NeRF 特征

通过引入压缩感知型 NeRF 特征，该研究实现了在模型训练结束时导出经过压缩的特征网格，极大地减小了存储空间占用，而且不需要改变存储架构或原始 INGP 论文中的参数。

Oct, 2023

大城市场景的网格引导神经辐射场

该研究提出了一个新的框架用于实现对大型城市场景的高保真渲染，该框架运用了一种简化的多分辨率地面特征平面表示来捕捉场景，并通过另一个 NeRF 分支的位置编码输入进行补充，以联合学习的方式进行渲染。

Mar, 2023

压缩显式体素网格表示：快速 NeRFs 变得更小

本文提出了 Re:NeRF 方法，用于在维持性能的同时降低 NeRF 模型的内存存储。与三种不同的 EXG-NeRF 体系结构在四个流行的基准测试中进行基准测试，显示了 Re:NeRF 的广泛适用性和有效性。

Oct, 2022

利用神经辐射场实现实时视图合成

该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

Mar, 2021

CodecNeRF：快速编码和解码，紧凑而高质量的新视角合成

通过提出一种新的编码 - 解码 - 微调流程，CodecNeRF 在保持 (或改善) 图像质量的同时，在常用的 3D 对象数据集（如 ShapeNet 和 Objaverse）上实现了超过 150 倍的压缩性能和 20 倍的编码时间缩短。

Apr, 2024

Hyb-NeRF：神经辐射场的多分辨率混合编码

Hyb-NeRF 是一种新颖的神经辐射场，具有多分辨率混合编码，实现了高效的神经建模和快速渲染，同时允许高质量的新视角合成。它通过从粗到细的分辨率级别使用不同的编码策略来表示场景，并利用可学习的位置特征以及基于哈希的特征网格的快速优化速度和局部细节。此外，为了进一步提高性能，还将锥形跟踪特征嵌入到可学习的位置编码中，消除了编码的歧义性并减少了走样伪影。广泛的合成和实际数据集实验证明，与以往最先进方法相比，Hyb-NeRF 在更快的渲染速度、更好的渲染质量和更低的内存占用方面取得了优势。

Nov, 2023

Zip-NeRF: 基于格点的反锯齿神经辐射场

使用渲染和信号处理中的思想，将 mip-NeRF 360 和基于网格的模型相结合，使误差比之前的技术低 8%-76%，并且训练速度比 mip-NeRF 360 快 22 倍。

Apr, 2023

基于即时 NGP 的 NeRF 可以压缩到什么程度？

我们介绍了一种基于上下文的 NeRF 压缩 (CNC) 框架，利用高效的上下文模型提供储存友好的 NeRF 表示。我们通过挖掘层级和维度上的上下文依赖以减少信息熵，同时利用哈希碰撞和占用栅格作为强先验知识进行更好的上下文建模，实现了对 Synthesic-NeRF 和 Tanks and Temples 数据集上基准 Instant-NGP 的体积降低 100 倍和 70 倍，对 SOTA NeRF 压缩方法 BiRF 实现了 86.7% 和 82.3% 的存储空间减少。

Jun, 2024