高效的三维场景重建潜空间神经辐射场
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法,它使用学习的稀疏体素网格表示,通过对神经辐射场(Neural Radiance Fields)进行预处理和存储(烘焙)来实现实时渲染。通过该方法,可以在以往的基础上保留了NeRF渲染精细几何细节和视图相关外观的能力,实现在普通硬件上进行实时渲染。
Mar, 2021
本文提出EfficientNeRF,一种高效的基于NeRF的方法,用于表示3D场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法,以显著提高采样效率。同时,设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明,本方法可以缩短88%以上的训练时间,实现超过200 FPS的渲染速度,而仍保持竞争力的准确性,从而促进NeRF 在现实世界中的实际应用和推广。
Jun, 2022
本研究提出了一种名为Aug-NeRF的增强型神经辐射场模型,它利用鲁棒的数据增强技术来加强NeRF的训练,从而提高其在新视角合成和几何重建方面的表现,并且可以从严重受损的图像中恢复场景。
Jul, 2022
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
Hyb-NeRF是一种新颖的神经辐射场,具有多分辨率混合编码,实现了高效的神经建模和快速渲染,同时允许高质量的新视角合成。它通过从粗到细的分辨率级别使用不同的编码策略来表示场景,并利用可学习的位置特征以及基于哈希的特征网格的快速优化速度和局部细节。此外,为了进一步提高性能,还将锥形跟踪特征嵌入到可学习的位置编码中,消除了编码的歧义性并减少了走样伪影。广泛的合成和实际数据集实验证明,与以往最先进方法相比,Hyb-NeRF在更快的渲染速度、更好的渲染质量和更低的内存占用方面取得了优势。
Nov, 2023
通过 Re-Nerfing 方法,我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围,提高新视角的几何一致性,并通过新合成的图像实现结构和极线约束的优化,对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。
Dec, 2023
神经场在计算机视觉和机器人技术中表现出色,能够理解三维视觉世界,例如推断语义、几何和动态。我们使用神经场进行自监督预训练,尤其是使用遮盖的自动编码器从RGB图像生成有效的三维表示,然后将标准的三维视觉Transformer应用于NeRF来进行特定形式的训练。我们利用NeRF的体积网格作为Transformer的密集输入,与像点云等其他三维表示进行对比。通过将相机轨迹用于采样,我们提取了可以规范化不同域中场景的显式表示。我们的目标是通过遮盖NeRF的辐射和密度网格的随机补丁并使用标准的三维Swin Transformer重建这些补丁,从而使模型能够学习完整场景的语义和空间结构。我们在自己提出的posed-RGB数据上规模化地对这个表示进行预训练,总共涉及超过160万幅图像。预训练后,编码器可以用于有效的三维迁移学习。我们提出的NeRF-MAE自监督预训练方法在各种具有挑战性的三维任务上表现出色,利用未标记的posed 2D数据进行预训练,相较于自监督三维预训练和NeRF场景理解基线,在Front3D和ScanNet数据集上的三维物体检测的AP50和AP25绝对性能提升分别超过20%和8%。
Apr, 2024
通过提出一种新的编码-解码-微调流程,CodecNeRF在保持(或改善)图像质量的同时,在常用的3D对象数据集(如ShapeNet和Objaverse)上实现了超过150倍的压缩性能和20倍的编码时间缩短。
Apr, 2024