Sat-NeRF: 使用 RPC 相机学习多视图卫星摄影测量和瞬时物体以及阴影建模
介绍了 Sat-NeRF,它是阴影神经辐射场(S-NeRF)模型的一个修改实现。它能够从场景的稀疏卫星图像合成新的视图,并考虑图片中存在的光照变化。通过完全连接的神经网络支路输出反照率和入射辐照度两个量,对辐射度进行考虑,将其作为太阳直射光和天空漫反射颜色的函数。通过对 NeRF 进行超参数研究,得出了一些有趣的结论,并且成功地将 NeRF 和 S-NeRF 运行了 100k 次以完全拟合数据并产生最佳预测。
Apr, 2023
我们提出了一种新的通用方法,用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型,我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤,而不需要任何显式形状监督。
Apr, 2021
使用稀疏卫星观测视图的 SpS-NeRF 方法通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标,有效地生成数字表面模型,并与 NeRF 和 Sat-NeRF 进行对比。
Sep, 2023
现有的立体视觉管道在使用多对或多个卫星图像时可以产生高精度的 3D 重建。然而,这些管道对于由于多日期收购而可能发生的图像变化敏感。为了考虑这些变化,最近将神经辐射场(NeRF)应用于多日期卫星图像。然而,神经方法非常计算密集,需要数十个小时进行学习,而标准立体视觉管道只需几分钟。根据即时神经图形基元的思路,我们提出使用高效的采样策略和多分辨率哈希编码来加速学习。我们的模型,卫星神经图形基元(SAT-NGP),将学习时间缩短到 15 分钟,同时保持了 3D 重建的质量。
Mar, 2024
本研究借鉴神经辐射场(NeRF)的概念,将 SAR 成像机制与神经网络相结合,提出了一种新的 SAR 图像生成模型 SAR-NeRF,它通过自动编码学习了体素的衰减系数和散射强度分布,并在少样本学习任务上实现了较高的分类精度。
Jul, 2023
用于卫星图像的新视角合成的文章,其模型基于多平面图像的 RPC,结合了隐式表示和 RPC 模型的优势,在单视角和多视角任务中都展现出较高的图像保真度、重建准确性和效率。
Oct, 2023
该论文提出了一种基于光线追踪的方法来解决 Neural Radiance Fields(NeRFs)在渲染高光物体时的困难,并成功合成了真实世界场景中的光泽外观和反射,同时优化和渲染速度与当前状态 - of-the-art 视图合成模型相当。
May, 2024
该研究提出了 NeRFReN,它是基于 NeRF 的,能够建模带有反射的场景,并将场景分为透射和反射组件,用单独的神经辐射场来建模两个组件,以实现高质量的新视图综合和深度估计结果。
Nov, 2021
本文提出了一种新的街景神经辐射场模型(S-NeRF),它考虑了大规模背景场景和前景移动车辆的新视角合成,通过改进场景参数化函数和学习更好的神经表示来应对现有 NeRF 模型在街景合成中出现的问题,并使用嘈杂和稀疏的 LiDAR 点来提高训练的鲁棒性和减少深度奇异值出现的情况。我们的 S-NeRF 模型在各种大规模驾驶数据集上的实验证明了它优于现有最先进方法在街景合成中减少了 7%至 40%的均方误差,并在移动车辆渲染的 PSNR 方面获得了 45%的增益。
Mar, 2023
该研究通过提出 Enhance-NeRF 模型,增强神经放射场(NeRF)在虚拟现实和增强现实等领域的三维重建应用,改进了场景识别和学习能力,有望广泛应用于照明、材质和形状的室外场景重建,具备插拔式的易用性,并能够与其他 NeRF-based 模型轻松集成。
Jun, 2023