Jun, 2024

基于即时 NGP 的 NeRF 可以压缩到什么程度？

PDF
TL;DR我们介绍了一种基于上下文的 NeRF 压缩 (CNC) 框架，利用高效的上下文模型提供储存友好的 NeRF 表示。我们通过挖掘层级和维度上的上下文依赖以减少信息熵，同时利用哈希碰撞和占用栅格作为强先验知识进行更好的上下文建模，实现了对 Synthesic-NeRF 和 Tanks and Temples 数据集上基准 Instant-NGP 的体积降低 100 倍和 70 倍，对 SOTA NeRF 压缩方法 BiRF 实现了 86.7% 和 82.3% 的存储空间减少。
neural radiance fieldnerfcontext-based nerf compressionstorage-friendly nerf representationcontext models
发现论文，激发创造
  • CAwa-NeRF：即时学习压缩感知的 NeRF 特征

    通过引入压缩感知型 NeRF 特征，该研究实现了在模型训练结束时导出经过压缩的特征网格，极大地减小了存储空间占用，而且不需要改变存储架构或原始 INGP 论文中的参数。

    Oct, 2023

  • 神经 NeRF 压缩

    该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法，使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩，引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性，实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。

    Jun, 2024

  • NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

    通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

    Apr, 2024

  • ProteusNeRF: 快速轻量级的 NeRF 编辑利用 3D 意识图像背景

    通过图像编辑和几何和外观调整，我们提出了一个快速高效且占用内存低的神经网络架构，能够实现用户友好的交互式编辑 Neural Radiance Fields，并通过语义特征提炼和局部 3D 感知图像内容，使编辑结果视角一致。相比于现有的基于文本引导的编辑方法，我们的方法加速了 10-30 倍，并在多个示例上展示了外观和几何编辑的效果。

    Oct, 2023

  • 压缩显式体素网格表示：快速 NeRFs 变得更小

    本文提出了 Re:NeRF 方法，用于在维持性能的同时降低 NeRF 模型的内存存储。与三种不同的 EXG-NeRF 体系结构在四个流行的基准测试中进行基准测试，显示了 Re:NeRF 的广泛适用性和有效性。

    Oct, 2022

  • 通过秩 - 残差分解实现可压缩可组合的 NeRF

    本研究提出了一种基于张量分解的显式神经场表示法，通过采用低秩近似的策略及动态调整模型的秩来实现精细度和模型大小的权衡，并可以将不同的模型进行组合从而达到压缩和构图能力的提升。

    May, 2022

  • SPC-NeRF：基于体素辐射场空间预测压缩

    该论文提出了一种新颖的框架 SPC-NeRF，应用空间预测编码在显式体素网格（EVG）压缩中，以实现更好的压缩性能和 32％的比特节省。

    Feb, 2024

  • CodecNeRF：快速编码和解码，紧凑而高质量的新视角合成

    通过提出一种新的编码 - 解码 - 微调流程，CodecNeRF 在保持 (或改善) 图像质量的同时，在常用的 3D 对象数据集（如 ShapeNet 和 Objaverse）上实现了超过 150 倍的压缩性能和 20 倍的编码时间缩短。

    Apr, 2024

  • SqueezeNeRF：进一步分解的 FastNeRF，用于内存高效推理

    本文提出了一种名为 SqueezeNeRF 的算法，相比于现有的视角生成算法 FastNeRF，SqueezeNeRF 在 GPU 进行推理过程中比 FastNeRF 更加高效，能够以超过 190 帧每秒的速度进行渲染，并且比 FastNeRF 节省了 60 多倍的内存空间。

    Apr, 2022

  • Hyb-NeRF：神经辐射场的多分辨率混合编码

    Hyb-NeRF 是一种新颖的神经辐射场，具有多分辨率混合编码，实现了高效的神经建模和快速渲染，同时允许高质量的新视角合成。它通过从粗到细的分辨率级别使用不同的编码策略来表示场景，并利用可学习的位置特征以及基于哈希的特征网格的快速优化速度和局部细节。此外，为了进一步提高性能，还将锥形跟踪特征嵌入到可学习的位置编码中，消除了编码的歧义性并减少了走样伪影。广泛的合成和实际数据集实验证明，与以往最先进方法相比，Hyb-NeRF 在更快的渲染速度、更好的渲染质量和更低的内存占用方面取得了优势。

    Nov, 2023