Jan, 2023

K 平面：空间、时间和外观中的明确辐射场

PDF
TL;DR引入了 k-planes，它是一种在任意维度的辐射场中的白盒模型。 使用 d 选择 2 个平面来表示 d 维场景，提供了一种无缝地从静态（d=3）到动态（d=4）场景的方法。我们使用具有学习的颜色基础的线性特征解码器，该解码器产生与非线性黑盒 MLP 解码器相似的性能。 k-planes 在一系列合成和真实的场景中具有竞争力且通常具有最先进的重建保真度，具有低内存使用率，并且使用纯 PyTorch 实现进行快速优化。
white-box modelradiance fieldsk-planesdimension-specific priorslinear feature decoder
发现论文，激发创造
  • WavePlanes: 动态神经辐射场的紧凑小波表示

    Dynamic Neural Radiance Fields（Dynamic NeRF）提升了 NeRF 技术以对移动场景建模，然而，它们需要大量资源且难以压缩。为解决该问题，本文提出了 WavePlanes，一种更快且更紧凑的显式模型。我们提出了一个多尺度空间和时空特征平面表示，使用 N 级 2D 小波系数。逆离散小波变换重构了 N 个特征信号，具有不同的细节，线性解码以近似 4D 网格中体积的颜色和密度。利用小波系数的稀疏性，我们压缩了一个哈希映射，仅包含非零系数及其在每个平面上的位置。这导致压缩模型大小约为 12 MB。与最先进的基于平面的模型相比，WavePlanes 小了多达 15 倍，计算需求较低，并在仅一个小时的训练内实现了可比拟的结果 - 无需定制 CUDA 代码或高性能计算资源。此外，我们提出了新的特征融合方案，其效果不亚于以前提出的方案，同时提供更大的可解释性。我们的代码位于：this https URL

    Dec, 2023

  • TK-Planes: 高维特征向量下的分层 K-Planes 用于动态无人机场景

    本论文提出了一种新的方法来缩小合成数据和实际世界数据之间的领域差距，用于无人机感知。我们的方法适用于包含移动物体或人类动作的动态场景，旨在识别姿势或行为。我们扩展了 K-Planes 神经辐射场（NeRF），通过存储一组分层特征向量来有效建模场景的概念信息，并使用图像解码器将输出特征图转换为 RGB 图像。我们的技术利用场景中静态和动态对象之间的信息，并能够捕捉高空视频的显著场景属性。我们在包括 Okutama Action 和 UG2 在内的具有挑战性的数据集上评估其性能，并观察到与现有空中感知算法相比的显著准确性改进。

    May, 2024

  • HexPlane：快速的动态场景表示

    通过学习特征的六个平面对动态 3D 场景的显式建模，开发了一种高效的解决方案，称为 HexPlane，在节约训练时间的同时，能够在视角合成方面取得与之前研究相匹配的结果。

    Jan, 2023

  • 面向快速稀疏输入动态视图合成的分解运动场

    为快速优化和渲染设计动态场景的三维表示是一项具有挑战性的任务，本文旨在使用稀疏的输入视点学习快速的动态辐射场表示，并引入可靠的流先验来限制运动模型，从而实现对稀疏输入视点的优化。

    Apr, 2024

  • PlanarNeRF：使用神经辐射场在线学习平面基元

    通过在线学习检测稠密的三维平面，PlanarNeRF 在计算机视觉中具有重要作用，它的灵活架构允许在 2D 监督和自监督解决方案中有效学习，显著提高了训练效率。

    Dec, 2023

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • 用神经网络平面表示快速重建可变形组织的四维模型

    LerPlane 是一种快速且精确的手术场景重建方法，在单视点情况下将手术过程作为 4D 体积进行因式分解成为静态和动态场的 2D 平面。

    May, 2023

  • 3D 视频合成的流式辐射场

    通过增量学习范式，结合基础模型和逐帧模型差异调节策略，采用窄带技术和基于模型差异的压缩方法，实现高效的流式辐射场实时渲染，训练时间为每帧 15 秒，性能比其它隐式方法快 1000 倍。

    Oct, 2022

  • Lightplane: 高可扩展的神经三维场组件

    现代 3D 研究中，特别是在重建和生成方面，严重依赖于 2D 图像输入或监督。然而，目前这些 2D-3D 映射的设计占用大量内存，对现有方法构成了重大瓶颈，并阻碍了新的应用。为此，我们提出了一对高度可扩展的用于 3D 神经场的组件：Lightplane Render 和 Splatter，它们显著减少了 2D-3D 映射中的内存使用量。这些创新使得能够以较小的内存和计算成本处理大量更高分辨率的图像。我们展示了它们在各种应用中的实用性，从从图像级损失中受益的单场景优化到实现用于大幅扩展 3D 重建和生成的多功能流水线。代码：https://github.com/facebookresearch/lightplane。

    Apr, 2024

  • PlaneDepth: 基于正交平面的自监督深度估计

    本文提出了一种基于正交平面的深度估计方法 PlaneDepth，使自监督学习中的深度估计更为精确，同时解决了自动驾驶中分割、补洞等问题，实现了无监督地提取地面平面，为自动驾驶技术的发展提供了有效支持。

    Oct, 2022