Sep, 2023

大尺寸多日期卫星图像的快速张量辐射场

PDF
TL;DRSatensoRF 通过多尺度张量分解方法对卫星图像进行光场建模，优于传统的 Hierarchical MLP-based 场景表示，有效解决多时相一致性问题，并在新视角合成性能上超越了现有的 Sat-NeRF 系列模型。
nerf modelssatellite imagessatensorfmultiscale tensor decompositionnovel view synthesis performance
发现论文，激发创造
  • SparseSat-NeRF: 稀疏遥感图像的密集深度监督神经辐射场

    使用稀疏卫星观测视图的 SpS-NeRF 方法通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标，有效地生成数字表面模型，并与 NeRF 和 Sat-NeRF 进行对比。

    Sep, 2023

  • 应用 NeRF 技术于卫星影像中进行地表重建

    介绍了 Sat-NeRF，它是阴影神经辐射场（S-NeRF）模型的一个修改实现。它能够从场景的稀疏卫星图像合成新的视图，并考虑图片中存在的光照变化。通过完全连接的神经网络支路输出反照率和入射辐照度两个量，对辐射度进行考虑，将其作为太阳直射光和天空漫反射颜色的函数。通过对 NeRF 进行超参数研究，得出了一些有趣的结论，并且成功地将 NeRF 和 S-NeRF 运行了 100k 次以完全拟合数据并产生最佳预测。

    Apr, 2023

  • TensoRF: 张量辐射场

    TensoRF 采用 4D 张量模型和基于 CP 分解和 VM 分解等技术去重构辐射场，实验结果表明在提高渲染质量的同时保持较小模型大小和更短的重构时间。

    Mar, 2022

  • 多视角卫星摄影测量的影子神经辐射场

    我们提出了一种新的通用方法，用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型，我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤，而不需要任何显式形状监督。

    Apr, 2021

  • Sat-NeRF: 使用 RPC 相机学习多视图卫星摄影测量和瞬时物体以及阴影建模

    介绍了一种新的卫星多视角摄影测量学的端到端模型 - 卫星神经辐射场（Sat-NeRF），利用神经渲染的最新技术结合本地卫星相机模型，通过阴影感知辐照模型和不确定性加权等方法来提高模型对于多次拍摄图像在外观上的高质量表现。

    Mar, 2022

  • SAR-NeRF：合成孔径雷达多视角辐射场的神经辐射场

    本研究借鉴神经辐射场（NeRF）的概念，将 SAR 成像机制与神经网络相结合，提出了一种新的 SAR 图像生成模型 SAR-NeRF，它通过自动编码学习了体素的衰减系数和散射强度分布，并在少样本学习任务上实现了较高的分类精度。

    Jul, 2023

  • Simple-RF: 用更简单的解决方案规范稀疏输入辐射场

    通过设计较为简化的能力增强模型，我们观察到较好的深度监督效果，进而提高稀疏视图下的主要辐射场的视图合成性能。

    Apr, 2024

  • SinNeRF：单图训练神经辐射场处理复杂场景

    本论文提出了单视角 NeRF 框架 (SinNeRF)，通过引入半监督的学习过程，利用几何标签和语义标签指导训练过程，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使在不进行多视图数据集预训练的情况下，SinNeRF 可产生逼真的新视图综合结果。

    Apr, 2022

  • SAT-NGP：基于卫星图像的快速可重照三维重建中的神经图形基元释放

    现有的立体视觉管道在使用多对或多个卫星图像时可以产生高精度的 3D 重建。然而，这些管道对于由于多日期收购而可能发生的图像变化敏感。为了考虑这些变化，最近将神经辐射场（NeRF）应用于多日期卫星图像。然而，神经方法非常计算密集，需要数十个小时进行学习，而标准立体视觉管道只需几分钟。根据即时神经图形基元的思路，我们提出使用高效的采样策略和多分辨率哈希编码来加速学习。我们的模型，卫星神经图形基元（SAT-NGP），将学习时间缩短到 15 分钟，同时保持了 3D 重建的质量。

    Mar, 2024

  • Spec-NeRF: 多光谱神经辐射场

    我们提出了一种名为 Multi-spectral Neural Radiance Fields（Spec-NeRF）的方法，可以通过一组经不同滤波器滤波的彩色图像，联合重建多光谱辐射场和相机的光谱灵敏度函数（SSFs）。通过将估计得到的 SSFs 和辐射场应用于合成多光谱场景的新视图，该方法侧重于对物理成像过程进行建模。该方法只需要一台低成本的三色相机和几个现成的彩色滤光片进行数据采集，相比使用专门的 3D 扫描和光谱成像设备更加实用。我们对合成和真实场景数据集进行的实验表明，利用可学习的 NeRF 和 SSFs 处理经过滤波的 RGB 图像，能够实现高保真度和有前景的光谱重建，并且保留了 NeRF 理解几何结构的内在能力。该方法的代码可以在此 https URL 找到。

    Sep, 2023