HexPlane:快速的动态场景表示
LerPlane 是一种快速且精确的手术场景重建方法,在单视点情况下将手术过程作为 4D 体积进行因式分解成为静态和动态场的 2D 平面。
May, 2023
Dynamic Neural Radiance Fields(Dynamic NeRF)提升了 NeRF 技术以对移动场景建模,然而,它们需要大量资源且难以压缩。为解决该问题,本文提出了 WavePlanes,一种更快且更紧凑的显式模型。我们提出了一个多尺度空间和时空特征平面表示,使用 N 级 2D 小波系数。逆离散小波变换重构了 N 个特征信号,具有不同的细节,线性解码以近似 4D 网格中体积的颜色和密度。利用小波系数的稀疏性,我们压缩了一个哈希映射,仅包含非零系数及其在每个平面上的位置。这导致压缩模型大小约为 12 MB。与最先进的基于平面的模型相比,WavePlanes 小了多达 15 倍,计算需求较低,并在仅一个小时的训练内实现了可比拟的结果 - 无需定制 CUDA 代码或高性能计算资源。此外,我们提出了新的特征融合方案,其效果不亚于以前提出的方案,同时提供更大的可解释性。我们的代码位于:this https URL
Dec, 2023
本文通过对三平面离散数据结构进行处理,展示了该结构具有丰富的信息,可以通过标准深度学习模型进行有效处理,并在处理过程中实现了与处理显式表示结构相当的任务性能,同时保持了相同的重建质量。
Oct, 2023
现代 3D 研究中,特别是在重建和生成方面,严重依赖于 2D 图像输入或监督。然而,目前这些 2D-3D 映射的设计占用大量内存,对现有方法构成了重大瓶颈,并阻碍了新的应用。为此,我们提出了一对高度可扩展的用于 3D 神经场的组件:Lightplane Render 和 Splatter,它们显著减少了 2D-3D 映射中的内存使用量。这些创新使得能够以较小的内存和计算成本处理大量更高分辨率的图像。我们展示了它们在各种应用中的实用性,从从图像级损失中受益的单场景优化到实现用于大幅扩展 3D 重建和生成的多功能流水线。代码:https://github.com/facebookresearch/lightplane。
Apr, 2024
引入了 k-planes,它是一种在任意维度的辐射场中的白盒模型。 使用 d 选择 2 个平面来表示 d 维场景,提供了一种无缝地从静态(d=3)到动态(d=4)场景的方法。我们使用具有学习的颜色基础的线性特征解码器,该解码器产生与非线性黑盒 MLP 解码器相似的性能。 k-planes 在一系列合成和真实的场景中具有竞争力且通常具有最先进的重建保真度,具有低内存使用率,并且使用纯 PyTorch 实现进行快速优化。
Jan, 2023
该论文提出了一种称为 FastMESH 的有效的基于网格的神经渲染方法,通过采用六边形网格模型以及基于粗到细的空间切割方案,可以在快速训练的同时,实现更好的重建和新视角合成效果。
May, 2023
本论文提出了一种新的方法来缩小合成数据和实际世界数据之间的领域差距,用于无人机感知。我们的方法适用于包含移动物体或人类动作的动态场景,旨在识别姿势或行为。我们扩展了 K-Planes 神经辐射场(NeRF),通过存储一组分层特征向量来有效建模场景的概念信息,并使用图像解码器将输出特征图转换为 RGB 图像。我们的技术利用场景中静态和动态对象之间的信息,并能够捕捉高空视频的显著场景属性。我们在包括 Okutama Action 和 UG2 在内的具有挑战性的数据集上评估其性能,并观察到与现有空中感知算法相比的显著准确性改进。
May, 2024
我们提出了一种名为 Tri$^2$-plane 的新方法,用于通过单目逼真体积头像重建,通过特征金字塔和三个自上而下的侧连接 Tri-planes 实现细节改进,并通过训练中的相机几何感知滑动窗口方法提高鲁棒性,实验结果表明 Tri$^2$-plane 不仅超越了现有的方法,还在定量指标和定性评估方面取得了优越的性能。
Jan, 2024
本文提出了一种用于动态场景实时视角合成的体积视频新表示法,通过使用浅层 MLP 网格和共享的 2D CNN 解码器动态预测 MLP 参数,显著提高了渲染速度并降低了存储成本,实验表明,该方法在渲染质量上实现了最先进的水平,同时能够通过 RTX 3090 GPU 以 41.7fps 的速度对 $512 imes 512$ 的图像实时渲染。
Apr, 2023