May, 2023

具有神经码本的紧凑实时辐射场

PDF
TL;DR本文提出了一种使用压缩方法从紧凑的角度追求较小体积的神经辐射场的简单而有效的框架，该方法利用网格模型固有的代表特性，开发了非一致压缩方法以显着减少模型复杂性，并引入了名为 “神经码书” 的新颖参数化模块，通过快速优化来更好地编码每个场景模型的高频细节，从而实现对网格模型存储量的超过 40 倍的减少，在具有竞争性的渲染质量和 180 fps 的实时渲染速度的同时，相对于实时渲染方法而言具有存储成本的显著优势。
neural radiance fieldsplenoxelscompression methodologyneural codebookreal-time rendering
发现论文，激发创造
  • 神经 NeRF 压缩

    该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法，使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩，引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性，实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。

    Jun, 2024

  • 紧凑型神经辐射场的遮罩小波表示

    本文提出了一种利用小波变换和可训练掩模方法结合网格神经场的方法来减少计算和存储资源的使用，以实现更加紧凑的场景渲染的方法。实验结果表明，在 2MB 的内存预算下，该方法的性能达到了最优水平。

    Dec, 2022

  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • FPO++：通过分析和增强傅里叶八叉树有效编码和渲染动态神经辐射场

    通过对动态模型中的压缩引入的伪影进行深入分析，并利用所得的见解提出一种改进的表示方法，特别是提出了一种根据基于 Fourier 的压缩来适应底层体渲染过程的传递函数特征的新密度编码，从而显著减少动态模型中的伪影。此外，通过对训练数据的扩充来放松压缩的周期性假设。在合成和真实场景的定量和定性评估范围内展示了增强的 Fourier PlenOctrees 的有效性。

    Oct, 2023

  • 利用神经辐射场实现实时视图合成

    该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

    Mar, 2021

  • NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

    通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

    Apr, 2024

  • 高效神经辐射场渲染的自适应壳

    神经辐射场通过平滑过渡体积 - 表面渲染方法，在加速渲染速度的同时提高视觉保真度，并能够通过提取的网格包络应用于动画和仿真等下游应用。

    Nov, 2023

  • Zip-NeRF: 基于格点的反锯齿神经辐射场

    使用渲染和信号处理中的思想，将 mip-NeRF 360 和基于网格的模型相结合，使误差比之前的技术低 8%-76%，并且训练速度比 mip-NeRF 360 快 22 倍。

    Apr, 2023

  • 压缩显式体素网格表示：快速 NeRFs 变得更小

    本文提出了 Re:NeRF 方法，用于在维持性能的同时降低 NeRF 模型的内存存储。与三种不同的 EXG-NeRF 体系结构在四个流行的基准测试中进行基准测试，显示了 Re:NeRF 的广泛适用性和有效性。

    Oct, 2022

  • Plenoxels：无需神经网络实现的辐射场

    Plenoxels 是一种用于光线追踪的系统，将场景表示为一个稀疏的 3D 网格模型，并通过梯度方法和正则化优化，能够实现与神经辐射场相当的质量，却快 100 倍。

    Dec, 2021