Dec, 2023

WavePlanes: 动态神经辐射场的紧凑小波表示

PDF
TL;DRDynamic Neural Radiance Fields（Dynamic NeRF）提升了 NeRF 技术以对移动场景建模，然而，它们需要大量资源且难以压缩。为解决该问题，本文提出了 WavePlanes，一种更快且更紧凑的显式模型。我们提出了一个多尺度空间和时空特征平面表示，使用 N 级 2D 小波系数。逆离散小波变换重构了 N 个特征信号，具有不同的细节，线性解码以近似 4D 网格中体积的颜色和密度。利用小波系数的稀疏性，我们压缩了一个哈希映射，仅包含非零系数及其在每个平面上的位置。这导致压缩模型大小约为 12 MB。与最先进的基于平面的模型相比，WavePlanes 小了多达 15 倍，计算需求较低，并在仅一个小时的训练内实现了可比拟的结果 - 无需定制 CUDA 代码或高性能计算资源。此外，我们提出了新的特征融合方案，其效果不亚于以前提出的方案，同时提供更大的可解释性。我们的代码位于：this https URL
发现论文，激发创造
  • 紧凑型神经辐射场的遮罩小波表示

    本文提出了一种利用小波变换和可训练掩模方法结合网格神经场的方法来减少计算和存储资源的使用，以实现更加紧凑的场景渲染的方法。实验结果表明，在 2MB 的内存预算下，该方法的性能达到了最优水平。

    Dec, 2022

  • TriNeRFLet：基于小波的多尺度三面体 NeRF 表示

    提出了 TriNeRFLet，一种基于二维小波的多尺度 Triplane 表示的新方法，该方法在三维恢复表现上优于传统 Triplane 方法，并结合扩散模型进行超分辨率，提高了 NeRF 的分辨率。

    Jan, 2024

  • DaReNeRF: 动态场景方向感知表示

    通过引入方向感知表达（DaRe）方法和逆双树复波变换（DTCWT），本研究解决了对复杂动态场景进行建模和重渲染的挑战，提供了一种用于复杂动态场景的新颖视角综合方法（DaReNeRF），在保持较低存储需求的同时显着改进了训练速度和性能。

    Mar, 2024

  • K 平面：空间、时间和外观中的明确辐射场

    引入了 k-planes，它是一种在任意维度的辐射场中的白盒模型。 使用 d 选择 2 个平面来表示 d 维场景，提供了一种无缝地从静态（d=3）到动态（d=4）场景的方法。我们使用具有学习的颜色基础的线性特征解码器，该解码器产生与非线性黑盒 MLP 解码器相似的性能。 k-planes 在一系列合成和真实的场景中具有竞争力且通常具有最先进的重建保真度，具有低内存使用率，并且使用纯 PyTorch 实现进行快速优化。

    Jan, 2023

  • MultiPlaneNeRF: 具有非可训练表示的神经辐射场

    本文介绍了 MultiPlaneNeRF 模型，该模型可从 2D 图像中直接产生非可训练的表示，并可通过大量数据的训练来实现推广，以及在生成新视角方面达到业界领先水平。

    May, 2023

  • HexPlane：快速的动态场景表示

    通过学习特征的六个平面对动态 3D 场景的显式建模，开发了一种高效的解决方案，称为 HexPlane，在节约训练时间的同时，能够在视角合成方面取得与之前研究相匹配的结果。

    Jan, 2023

  • TK-Planes: 高维特征向量下的分层 K-Planes 用于动态无人机场景

    本论文提出了一种新的方法来缩小合成数据和实际世界数据之间的领域差距，用于无人机感知。我们的方法适用于包含移动物体或人类动作的动态场景，旨在识别姿势或行为。我们扩展了 K-Planes 神经辐射场（NeRF），通过存储一组分层特征向量来有效建模场景的概念信息，并使用图像解码器将输出特征图转换为 RGB 图像。我们的技术利用场景中静态和动态对象之间的信息，并能够捕捉高空视频的显著场景属性。我们在包括 Okutama Action 和 UG2 在内的具有挑战性的数据集上评估其性能，并观察到与现有空中感知算法相比的显著准确性改进。

    May, 2024

  • 神经小波扩散用于 3D 形状生成、反转和操作

    本文提出了一种基于连续小波嵌入式表示的 3D 形状生成、反演、操纵方法，包括紧凑的小波表示、扩散生成器、细节预测器、编码器等，实现了较为强大的形状生成、反演、操纵能力，优于现有的最新方法。

    Feb, 2023

  • PlanarNeRF：使用神经辐射场在线学习平面基元

    通过在线学习检测稠密的三维平面，PlanarNeRF 在计算机视觉中具有重要作用，它的灵活架构允许在 2D 监督和自监督解决方案中有效学习，显著提高了训练效率。

    Dec, 2023

  • NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

    通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

    Apr, 2024