Mar, 2024

SAT-NGP：基于卫星图像的快速可重照三维重建中的神经图形基元释放

PDF
TL;DR现有的立体视觉管道在使用多对或多个卫星图像时可以产生高精度的 3D 重建。然而，这些管道对于由于多日期收购而可能发生的图像变化敏感。为了考虑这些变化，最近将神经辐射场（NeRF）应用于多日期卫星图像。然而，神经方法非常计算密集，需要数十个小时进行学习，而标准立体视觉管道只需几分钟。根据即时神经图形基元的思路，我们提出使用高效的采样策略和多分辨率哈希编码来加速学习。我们的模型，卫星神经图形基元（SAT-NGP），将学习时间缩短到 15 分钟，同时保持了 3D 重建的质量。
stereo-vision3d reconstructionsatellite imageryneural radiance fieldsinstant neural graphics primitives
发现论文，激发创造
  • Sat-NeRF: 使用 RPC 相机学习多视图卫星摄影测量和瞬时物体以及阴影建模

    介绍了一种新的卫星多视角摄影测量学的端到端模型 - 卫星神经辐射场（Sat-NeRF），利用神经渲染的最新技术结合本地卫星相机模型，通过阴影感知辐照模型和不确定性加权等方法来提高模型对于多次拍摄图像在外观上的高质量表现。

    Mar, 2022

  • SparseSat-NeRF: 稀疏遥感图像的密集深度监督神经辐射场

    使用稀疏卫星观测视图的 SpS-NeRF 方法通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标，有效地生成数字表面模型，并与 NeRF 和 Sat-NeRF 进行对比。

    Sep, 2023

  • 多视角卫星摄影测量的影子神经辐射场

    我们提出了一种新的通用方法，用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型，我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤，而不需要任何显式形状监督。

    Apr, 2021

  • 应用 NeRF 技术于卫星影像中进行地表重建

    介绍了 Sat-NeRF，它是阴影神经辐射场（S-NeRF）模型的一个修改实现。它能够从场景的稀疏卫星图像合成新的视图，并考虑图片中存在的光照变化。通过完全连接的神经网络支路输出反照率和入射辐照度两个量，对辐射度进行考虑，将其作为太阳直射光和天空漫反射颜色的函数。通过对 NeRF 进行超参数研究，得出了一些有趣的结论，并且成功地将 NeRF 和 S-NeRF 运行了 100k 次以完全拟合数据并产生最佳预测。

    Apr, 2023

  • 大尺寸多日期卫星图像的快速张量辐射场

    SatensoRF 通过多尺度张量分解方法对卫星图像进行光场建模，优于传统的 Hierarchical MLP-based 场景表示，有效解决多时相一致性问题，并在新视角合成性能上超越了现有的 Sat-NeRF 系列模型。

    Sep, 2023

  • 利用神经辐射场进行植物高保真度三维重建

    精准农业领域的重要问题之一是植物表型的准确重建。最近，神经辐射场（NeRF）方法在 2D 新视图图像合成和 3D 农作物和植物模型重建方面表现出出色的性能，但在农业环境中尚未深入研究。本研究通过两种最先进的方法 Instant-NGP 和 Instant-NSR，探索了 NeRF 方法的优势和局限，并提出了一种新的植物表型数据集，以全面评估 NeRF 在农业上下文中的应用。实验结果显示，NeRF 方法在合成新视图图像和与 Reality Capture 相媲美的 3D 重建方面表现出可观的性能，但存在训练速度较慢、采样不足时的性能限制以及在复杂环境中获取几何质量的挑战等问题。

    Nov, 2023

  • 大规模航拍图像中的神经辐射场（NeRF）实现 —— 多切分方法和 NeRF 的几何评估

    通过增加位置特定的采样技术和多镜头分块策略，我们在大规模航拍数据集上扩展了 Neural Radiance Fields (NeRF) 模型，并对 NeRF 的几何特性进行了全面评估。我们的方法 Mip-NeRF 在几何性能上相较于传统方法具有更好的完整性和物体细节，但目前仍然在准确度方面存在不足。

    Oct, 2023

  • SAR-NeRF：合成孔径雷达多视角辐射场的神经辐射场

    本研究借鉴神经辐射场（NeRF）的概念，将 SAR 成像机制与神经网络相结合，提出了一种新的 SAR 图像生成模型 SAR-NeRF，它通过自动编码学习了体素的衰减系数和散射强度分布，并在少样本学习任务上实现了较高的分类精度。

    Jul, 2023

  • BAA-NGP: 捆绑调整加速神经图形基元

    本文提出了一种基于加速采样和哈希编码的框架 BAA-NGP，它能够加快位姿估计、场景重建和新视角合成的处理速度，并在不降低位姿估计质量的情况下，比其他基于束调整的神经辐射场方法提高了十倍至二十倍的速度。

    Jun, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022