Apr, 2023

SAR2EO: 高分辨率图像翻译框架与去噪增强

PDF
TL;DR该篇论文提出了 SAR2EO 框架，使用粗到细的生成器、多尺度判别器和改进的对抗性损失生成高质量的 EO 图像，并引入降噪模块来去除 SAR 图像的噪声。证实了该框架在 MAVIC 数据集上效果显著，赢得了 CVPR PBVS 2023 的第一名。
synthetic aperture radarelectro-optical image translationcoarse-to-fine generatordenoising modulemulti-modal aerial view imagery challenge
发现论文，激发创造
  • 改进的洪水洞察：基于扩散的合成孔径雷达到光学图像转换

    研究介绍了一种利用合成孔径雷达数据的洪水检测技术，通过一种名为扩散 SAR 到 EO 图像翻译（DSE）的框架，将 SAR 图像转换为 EO 图像，提高了对人类的可识别性， 实验结果表明，DSE 框架不仅提供了增强的视觉信息，而且在所有测试的洪水分割基线中均有所提高。

    Jul, 2023

  • Multimodal SAR 到 EO 图像转换的 MultiEarth 2023 挑战中的第一名解决方案

    本文介绍了一个旨在通过利用广泛时间内收集的遥感数据，对地球生态健康进行监测和分析的跨模态学习多个任务的工作坊，并提出了清洁收集器算法，以清除可能妨碍数据学习过程的因素，并对图像进行增强，最终在 SAR-to-EO 任务中实现了较好的表现。

    Jun, 2023

  • 利用热力学启发式网络实现 SAR 到光学图像的转换

    本文提出了一种基于热力学理论设计的新型算法 ——SAR-to-Optical Image Translation (S2O-TDN)，通过设计第三阶差分残差结构和应用热力学一定律指导分支，并结合 SEN1-2 数据集的实验，证明 S2O-TDN 相较于常规算法，在提高图像质量和保存结构等方面有明显的优势。

    May, 2023

  • 利用光学雷达跨波段少样本迁移学习进行土地利用预测

    该研究探索了使用深度学习方法和分布对齐的神经网络嵌入可以提高卫星影像分析的准确性，尤其是在少量样本预测中，显著地超越了多种基线方法，其关键词有卫星图像分析，深度学习，迁移学习，Sentinel 和地区气候分区。

    Dec, 2022

  • SatDiffMoE: 卫星图像超分辨率的混合估计方法与潜在扩散模型

    通过扩散模型，我们提出了一种名为 SatDiffMoE 的新型融合算法，它可以将任意数量的时序低分辨率卫星图像作为输入，通过融合不同时间点的补充信息，合成具有更多细节的高分辨率重建图像。实验结果表明，与先前的方法相比，我们提出的 SatDiffMoE 方法不仅在各种数据集上实现了卓越的卫星图像超分辨率任务性能，而且具有改进的计算效率和减少的模型参数。

    Jun, 2024

  • 非可见光数据综合应用研究：合成孔径雷达成像案例研究

    通过研究大规模预训练图像生成模型在非可见光领域的应用，特别以合成孔径雷达（SAR）数据为案例研究，提出了一种 2 阶段低秩自适应方法（2LoRA）和改良版本原型 LoRA（pLoRA），以生成 SAR 数据并在 SAR 分类和分割模型的训练过程中取得显著的改进效果。

    Nov, 2023

  • SEN1-2 数据集用于合成孔径雷达光学数据深度学习

    发布 SEN1-2 数据集以促进 SAR - 光学数据融合领域中深度学习研究的发展，该数据集包括来自全球各地和各个气象季节的 282,384 对相应的图像块，并提供了多种应用示例，如 SAR 图像着色、SAR - 光学图像匹配以及从 SAR 输入数据创建模拟光学图像。

    Jul, 2018

  • M3LEO：一种多模态、多标签的地球观测数据集集成干涉合成孔径雷达和 RGB 数据

    卫星遥感技术革命性地改变了我们在迅速发展的世界中解决全球挑战的方式。每天都会通过卫星传感器产生大量的地球观测（EO）数据，但是将这些大规模数据集进行处理以供机器学习流程使用在技术和计算方面具有挑战性。尤其是不同类型的 EO 数据通常托管在各种平台上，在 Python 预处理工具的可用性方面存在差异。此外，数据源和数据分割的空间对齐可能对初学者用户构成重大技术障碍。我们引入了 M3LEO，这是一个多模态、多标签的 EO 数据集，包括了来自 Sentinel-1 的极化、干涉和相干 SAR 数据，以及 Sentinel-2 的 RGB 图像和一套用于模型评估的标签任务。M3LEO 跨越 17.5TB，其中包含了来自六个地理区域的约 1000 万数据片段。该数据集由灵活的 PyTorch Lightning 框架支持，并使用 Hydra 进行配置管理。我们提供了一些工具，以便将任何在流行平台（如 Google Earth Engine）上可用的数据集与我们的框架整合。初步实验验证了我们的数据和框架的实用性，显示出 SAR 图像包含了从 RGB 数据中无法提取的信息。数据可在 huggingface.co/M3LEO 获得，代码可在 github.com/spaceml-org/M3LEO 获取。

    Jun, 2024

  • 多标签引导的软对比学习用于高效地球观测预训练

    利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。

    May, 2024

  • Swin2-MoSE：一种新的遥感单幅图像超分辨率模型

    我们提出了 Swin2-MoSE 模型，它是 Swin2SR 的增强版本，引入 MoE-SM（增强的专家混合编码器）来替换 Transformer 模块中的前馈网络，并通过智能合并、新的输出融合层和新的工作分配策略，改进了专家之间的合作。同时，我们分析了位置编码之间的相互作用，证明了通道偏差和头部偏差的正向合作效果。最后，我们提出采用标准化互相关（NCC）和结构相似性指数（SSIM）损失的组合，以克服常规均方损失的局限性。实验结果表明，在 2 倍、3 倍和 4 倍分辨率放大任务上，Swin2-MoSE 在 Sen2Venus 和 OLI2MSI 数据集上相对于现有最佳方法的 PSNR 提高了 0.377~0.958 dB。我们还展示了 Swin2-MoSE 在语义分割任务（SeasoNet 数据集）中的有效性。代码和预训练模型可在给出的 URL 中获取。

    Apr, 2024