使用深度感知优化提高神经辐射场用于新景深合成
通过引入深度监督机制,结合 SFM(结构光运动)得到的 “自由” 深度监督信息,在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数,并且证明这种监督方式简单有效,可以使得渲染图像更加精准,支持其它类型的深度监督。
Jul, 2021
该论文提出了 ConsistentNeRF 方法,通过深度信息规范化像素之间的 3D 一致性,以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中,与基线方法相比,该方法可以显著提高模型性能,如 PSNR 可提高 94%,SSIM 可提高 76%,LPIPS 可提高 31%。
May, 2023
本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力,并提出了一种替代 Structure from Motion 预处理的方法,通过基于机器人运动学的度量尺度确定了精确的相机姿态,表明在具有挑战性的场景中具有明显优势,并展示了在缺乏真实数据的情况下,应用集成方法估计合成新视图的质量的初步结果。
May, 2024
通过 Re-Nerfing 方法,我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围,提高新视角的几何一致性,并通过新合成的图像实现结构和极线约束的优化,对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。
Dec, 2023
提出一种名为 D"aRF 的新框架,通过在线互补训练将 monocular depth estimation (MDE)网络的强大几何学优势与 Neural radiance fields(NeRF)表示相结合,通过缓解单眼深度的歧义问题来提高其鲁棒性和一致性,在少量真实世界图像情况下实现了强大的 3D 重建和新视角综合,成功解决了现有方法在不同类型场景或数据集上的局限性。
May, 2023
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022
通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进,使其在 360° 的拍摄模式下提高拍摄质量。
Oct, 2020
本文提出了一种叫做 NeRF 综合的新任务,利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场,我们提出了一种两阶段的方法来综合新场景,控制场景的照明效果采用阴影指导而不是分离场景,我们表明了我们的方法可以生成高质量的结果,对曲面上的新场景进行综合,增强了我们所提出的 NeRF 综合方法的实用性。
Jun, 2023