MultiPlaneNeRF: 具有非可训练表示的神经辐射场
提出了一种基于超网络范例的少样本学习方法,通过从训练数据中收集信息并生成通用权重的更新,实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究,证实了该方法的有效性。
Feb, 2024
通过在线学习检测稠密的三维平面,PlanarNeRF 在计算机视觉中具有重要作用,它的灵活架构允许在 2D 监督和自监督解决方案中有效学习,显著提高了训练效率。
Dec, 2023
我们提出了一种名为 pixelNeRF 的学习框架,可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比,我们的体系结构不需要每个场景都进行优化,从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明,我们的模型在形状、类别和实景等方面都优于现有的最先进技术。
Dec, 2020
提出了一种基于掩膜的光线和视角建模方法(MRVM-NeRF),通过细阶段上的随机掩膜来学习 3D 场景的先验知识,从而使模型的泛化能力得到提升。实验证明了该方法在合成和真实场景下具有优越性。
Apr, 2023
提出了 TriNeRFLet,一种基于二维小波的多尺度 Triplane 表示的新方法,该方法在三维恢复表现上优于传统 Triplane 方法,并结合扩散模型进行超分辨率,提高了 NeRF 的分辨率。
Jan, 2024
通过将场景自适应地细分为轴对齐的包围盒,并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间,该论文提出了一种有效的适应性多 NeRF 方法,以加速针对复杂场景的神经渲染过程,以实现对特定场景部分的精细神经表示。
Oct, 2023
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022
在这项研究中,我们介绍了一种专为少量航拍场景渲染量身定制的新方法,即多平面先验引导的神经辐射场模型(MPNeRF)。我们的关键洞察是航拍图像固有的几何规律可以加强稀疏航拍场景的神经辐射场模型。通过研究神经辐射场模型和多平面图像的行为,我们提出使用多平面先验指导神经辐射场模型的训练过程。通过引入 SwinV2 Transformer 和使用 SimMIM 进行预训练,我们的实验结果表明,MPNeRF 在非航拍环境中的性能超过了现有的最先进方法,即使只有三个视图可用,也可以将 SSIM 和 LPIPS 的性能提升三倍。希望我们的工作能为航拍场景中基于神经辐射场模型的应用开发提供启示。
Jun, 2024
利用神经辐射场(NeRFs)建立大规模的高楼或多个城市街区跨度的交互式 3D 环境,研究通过分析可见性统计信息,提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法,并对 NeRF 快速渲染程序提出了新方法,有效解决了训练速度和渲染速度等多项挑战。
Dec, 2021
本文提出 EfficientNeRF,一种高效的基于 NeRF 的方法,用于表示 3D 场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法,以显著提高采样效率。同时,设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明,本方法可以缩短 88% 以上的训练时间,实现超过 200 FPS 的渲染速度,而仍保持竞争力的准确性,从而促进 NeRF 在现实世界中的实际应用和推广。
Jun, 2022