本文提出了一种新颖的多模式联邦学习框架，旨在从分散的多模式遥感图像档案中学习用于遥感图像分类问题，该框架由多模式融合（MF）、特征白化（FW）和互信息最大化（MIM）三个模块组成，实验结果表明，相对于迭代模型平均（IMA），所提出的框架有效。

Jun, 2023

本文提出一种基于 RGB-Height 数据的遥感多模态语义分割新基准数据集，包含大规模数据集，认真评测已有的方法并提出一种新的 Transformer-based 中间多模态融合 (TIMF) 模块来适应令人满意的语义分割性能。

May, 2023

SkySense 是目前最大的多模态遥感基础模型，通过多种模态的时空序列输入，采用 Multi-Granularity Contrastive Learning 和 Geo-Context Prototype Learning 进行预训练学习，能灵活结合或单独使用其模块以适应各种任务，并在 16 个数据集上的 7 个任务中表现出了卓越的泛化能力，超过了 18 个最新的遥感基础模型。

Dec, 2023

利用 Copernicus 计划（ESA）的 Sentinel 卫星和 Google Earth Engine 的云计算设施，我们提供一个包括 180,662 个样本的数据集，该数据集由双极化合成孔径雷达（SAR）图像，多光谱 Sentinel-2 图像和 MODIS 地表覆盖映射的三元组组成，拥有 10 m 的地面采样距离，并覆盖所有有人居住的大陆和所有气象季节。期望该数据支持社区开发面向场景分类或地表映射的语义分割等常见任务的深度学习算法。

Jun, 2019

在多模态应用中，我们提出了一种创新的基于对比学习的模型，并利用 RS 数据集进行双时序遥感图像对的变化检测分析，实现了文本 - 图像检索功能。

Jun, 2024

该研究首次在遥感领域对当前最先进的联邦学习算法进行了比较研究，通过系统回顾计算机视觉社区中面向图像分类问题的联邦学习算法，并基于其与客户端之间训练数据异构性的有效性进行选择，对所选算法进行理论比较，并在多样化的分散化情境下通过实验分析其在多标签分类问题上的表现，从而为在遥感领域选择合适的联邦学习算法提供一份指南。

Nov, 2023

本文以遥感图像为例，研究了深度学习中三种特征学习方法的信号学问题，分析了自监督学习方法在遥感图像理解任务中的优势和现有研究工作，并讨论了进一步的研究方向和问题。

Nov, 2022

本文提出了一个开放的多模式全天候映射数据集和挑战，包括光学和 SAR 数据，以及建筑物足迹标注，用于探索 SAR 数据在灾害响应和建筑物足迹提取方面的应用效果，发现使用光学预处理的 SAR 数据在建筑物足迹提取中取得了更好的效果。

Apr, 2020

通过 FIT-RS 数据集，提出了一种用于远程感知的大规模指令调整数据集，通过评估复杂关系理解能力并建立 FIT-RSRC 基准，以 FIT-RSFG 基准为依据，提出了 SkySenseGPT 模型来增强远程感知大规模细粒度数据源与关系理解能力。

Jun, 2024

远程传感图像智能理解模型正在经历一个深刻的新范式转变，即从学习域模型的范式转变为先学习预训练的通用基础模型，然后再进行自适应域模型的范式。在新的自适应域模型范式下，过去十年中已取得远程传感图像智能理解进展的旧数据集不再适用于全新任务。我们认为必须设计一个具备以下特征的新数据集来轻化任务：1) 泛化性：训练模型学习多个任务之间的共享知识，并适应不同的任务；2) 理解复杂场景：训练模型理解感兴趣对象的细粒度属性，并能用自然语言描述场景；3) 推理能力：训练模型能够实现高层次的视觉推理。本文设计了一个由 GPT-4V 和现有数据集共同创建的高质量、多样化、统一的多模式指令跟踪数据集，我们称之为 RS-GPT4V。为了实现泛化性，我们使用了由 GPT-4V 通过指令跟踪引导推导出来的（问题，答案）对来统一诸如字幕和定位等任务；为了实现复杂场景，我们提出了一种具有局部策略的分层指令描述方式，描述了对象的细粒度属性和它们的空间关系，并具有全局策略将所有局部信息集成以生成详细的指令描述；为了实现推理能力，我们设计了多轮问答对来为模型提供推理能力。实证结果表明，通过 RS-GPT4V 微调的多模态大语言模型能够描述细粒度信息。数据集可在此网址获取：https://example.com

Jun, 2024