通过秩 - 残差分解实现可压缩可组合的 NeRF

May, 2022

通过秩 - 残差分解实现可压缩可组合的 NeRF

Compressible-composable NeRF via Rank-residual Decomposition

Jiaxiang Tang, Xiaokang Chen, Jingbo Wang, Gang Zeng

TL;DR本研究提出了一种基于张量分解的显式神经场表示法，通过采用低秩近似的策略及动态调整模型的秩来实现精细度和模型大小的权衡，并可以将不同的模型进行组合从而达到压缩和构图能力的提升。

Abstract

neural radiance field (NeRF) has emerged as a compelling method to represent 3D objects and scenes for photo-realistic rendering. However, its implicit representation causes difficulty in manipulating the models like the explicit mesh representation. Several recent advances in NeRF man

neural radiance field explicit neural field representation tensor rank decomposition rank-residual learning strategy model compression and composition

发现论文，激发创造

可编辑的小说视角合成的统一分解和组合 NeRF 学习

本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

Aug, 2023

神经 NeRF 压缩

该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法，使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩，引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性，实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。

Jun, 2024

DeRF: 分解辐射场

本文介绍一种基于空间分解的神经辐射场渲染技术，实验表明该技术在保证渲染质量的同时，提供了比 Neural Radiance Fields 更高效的推理速度，可 GPU 友好地进行渲染。

Nov, 2020

NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

Apr, 2024

TensoRF: 张量辐射场

TensoRF 采用 4D 张量模型和基于 CP 分解和 VM 分解等技术去重构辐射场，实验结果表明在提高渲染质量的同时保持较小模型大小和更短的重构时间。

Mar, 2022

基于即时 NGP 的 NeRF 可以压缩到什么程度？

我们介绍了一种基于上下文的 NeRF 压缩 (CNC) 框架，利用高效的上下文模型提供储存友好的 NeRF 表示。我们通过挖掘层级和维度上的上下文依赖以减少信息熵，同时利用哈希碰撞和占用栅格作为强先验知识进行更好的上下文建模，实现了对 Synthesic-NeRF 和 Tanks and Temples 数据集上基准 Instant-NGP 的体积降低 100 倍和 70 倍，对 SOTA NeRF 压缩方法 BiRF 实现了 86.7% 和 82.3% 的存储空间减少。

Jun, 2024

压缩显式体素网格表示：快速 NeRFs 变得更小

本文提出了 Re:NeRF 方法，用于在维持性能的同时降低 NeRF 模型的内存存储。与三种不同的 EXG-NeRF 体系结构在四个流行的基准测试中进行基准测试，显示了 Re:NeRF 的广泛适用性和有效性。

Oct, 2022

分布式神经辐射场模型：基于众包图像的去中心化实现

DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场（NeRFs），与集中式方法相比，它在训练过程中减少了服务器计算成本，并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合，实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本，并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。

Mar, 2024

联邦神经辐射场

本文提出了一种 Federated Learning 算法，利用低秩分解技术实现了多计算节点之间共同学习 NeRF，同时解决了数据集隐私的问题。

May, 2023

利用神经辐射场实现实时视图合成

该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

Mar, 2021