Jun, 2023

部分失效光学模态的多时相城市制图的多模态深度学习

PDF
TL;DR该研究提出了一种基于多模态卫星数据的新型多时相城市制图方法，其中考虑到了部分缺失的光学模态，所提出的模型采用了两个网络来分别提取每个模态的特征，并利用重建网络根据 SAR 数据近似光学特征并保持其数据的有效性。结果表明该方法在使用 SAR 数据以补充缺失光学数据方面的实用性较强，可有效开发和利用多模态数据。
multi-temporal urban mappingmulti-modal satellite datasentinel-1 sarsentinel-2 msireconstruction network
发现论文，激发创造
  • 探讨多模式城市制图中 SAR 和光学利用之间的不平衡

    使用双分支深度神经网络和切断机制研究城市地图中 SAR 和光学数据的利用，发现传统的 SAR - 光学数据融合方法虽然达到了良好的性能，但光学数据的利用存在明显的不足。因此，需要进一步研究 SAR 和光学数据的更加平衡的利用是否能够提高性能。

    Apr, 2023

  • SpaceNet 6：多传感器全天候制图数据集

    本文提出了一个开放的多模式全天候映射数据集和挑战，包括光学和 SAR 数据，以及建筑物足迹标注，用于探索 SAR 数据在灾害响应和建筑物足迹提取方面的应用效果，发现使用光学预处理的 SAR 数据在建筑物足迹提取中取得了更好的效果。

    Apr, 2020

  • 光学时间序列图像中的多尺度缺失数据修复与遮挡时空注意力网络

    提出了一种基于深度学习的新方法 MS2TAN (Multi-scale Masked Spatial-Temporal Attention Network)，用于重建时间序列的遥感图像，通过充分利用空时辅助信息，得到更高的恢复准确性。

    Jun, 2024

  • SEN12MS：一份经过整理的、包含地理参考多光谱 Sentinel-1/2 图像数据集，为深度学习与数据融合提供支持

    利用 Copernicus 计划（ESA）的 Sentinel 卫星和 Google Earth Engine 的云计算设施，我们提供一个包括 180,662 个样本的数据集，该数据集由双极化合成孔径雷达（SAR）图像，多光谱 Sentinel-2 图像和 MODIS 地表覆盖映射的三元组组成，拥有 10 m 的地面采样距离，并覆盖所有有人居住的大陆和所有气象季节。期望该数据支持社区开发面向场景分类或地表映射的语义分割等常见任务的深度学习算法。

    Jun, 2019

  • Beyond RGB: 基于多模态深度网络的高分辨率城市遥感技术

    本文研究使用深度完全卷积网络来处理多模态多尺度遥感数据的语义标注，并采用有效的多尺度方法来提高语义标注的精度和深入研究数据的早期和后期融合方法，并在两个公共数据集上验证了我们的方法，表现出令人满意的结果。

    Nov, 2017

  • 利用深度卷积神经网络对缺失数据模式的城市土地覆盖分类

    本文提出了一种基于卷积神经网络的城市土地覆盖分类方法，该网络可以嵌入所有可用的训练模态，并在测试阶段替换缺失的数据模态，实现数据融合功能，从而在测试中利用训练时缺失模态的信息，对比了标准卷积神经网络和两个标准卷积神经网络的整体表现。

    Sep, 2017

  • 利用 Sentinel-1 SAR 数据和 AutoML 估计光学植被指数

    使用合成孔径雷达（SAR）数据进行森林监测，对于解决光学数据的问题并使用机器学习估计森林的光学查找指数（VIs）表现出较好的效果，通过创建多时序和多模态数据集来进行 VI 估计，在时间和空间上与 Sentinel-1、Sentinel-2、DEM、天气和土地覆盖数据集的对齐下取得了较好的结果。

    Nov, 2023

  • 利用同时多光谱和合成孔径雷达图像进行海冰检测

    该研究提出了一种新的工具 ViSual_IceD，它使用并行编码器级别，将多光谱图像和合成孔径雷达 (SAR) 图像进行融合和连接，以实现极地区域可靠准确的海冰覆盖检测。

    Jan, 2024

  • 稀疏多基线合成孔径雷达跨模态车辆目标三维重建

    我们提出了一个跨模态重建网络（CMR-Net），它通过将可微渲染和光学图像的交叉模态监督整合在一起，将高度稀疏的多基线 SAR 3D 目标图像重建为结构化和高分辨率的图像。该网络通过精心设计的网络架构和训练策略，能够在公开可用的仿真数据集和真实测量数据集上实现高分辨率的重建，优于基于压缩感知和其他基于学习的传统稀疏重建算法。此外，使用光学图像作为监督提供了一种经济高效的方式来构建训练数据集，降低了方法传播的难度。我们的工作展示了在多基线 SAR 3D 成像中深度学习的广泛前景，并为基于交叉模态学习理论的雷达成像研究提供了一条新的路径。

    Jun, 2024

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023