Nov, 2023

GeoChat: 用于遥感的基于大规模视觉语言模型的实体化系统

PDF
TL;DRGeoChat 是第一个多功能的遥感视觉语言模型，它具备高分辨率遥感图像的多任务对话能力，并能将对象视觉上地与其空间坐标相关联，通过扩展现有多样的遥感数据集中的图像 - 文本对生成了一个新的领域特定的多模态指令跟随数据集，成功解决了现有模型在遥感领域的局限性，并在各个遥感任务上展示了强大的零样本性能。
large vision-language modelsremote sensingimage-text pairsmultimodal instruction-following datasetrobust zero-shot performance
发现论文，激发创造
  • LHRS-Bot：利用 VGI 增强的大型多模态语言模型强化遥感

    利用大规模遥感图像 - 文本数据集和遥感特定指令数据集，我们构建了针对遥感图像理解的多模态大语言模型（MLLM）LHRS-Bot，通过新颖的多层次视觉 - 语言对齐策略和课程学习方法，展现了在遥感领域中深入理解遥感图像和进行细致推理的能力。

    Feb, 2024

  • RSGPT：遥感视觉语言模型与基准

    大规模语言模型的出现显著推动了人工智能的快速发展，并引发了人工智能 2.0 的革命。远程感知领域对于开发专门针对数据分析的大规模视觉语言模型越来越感兴趣。然而，目前的研究主要集中在视觉识别任务上，缺乏对齐并适用于训练大规模视觉语言模型的全面、大规模图像 - 文本数据集，这对于有效训练此类模型构成了重大挑战。本研究构建了一个高质量的远程感知图像字幕数据集（RSICap），用于促进 RS 领域大规模视觉语言模型的发展。与以往通过模型生成的字幕或简短描述的数据集不同，RSICap 包括 2,585 个人工注释的字幕，具备丰富和高质量的信息。该数据集为每个图像提供了详细的描述，包括场景描述（例如居住区、机场或农田）以及对象信息（例如颜色、形状、数量、绝对位置等）。为了促进在 RS 领域中对视觉语言模型的评估，我们还提供了一个基准评估数据集 RSIEval，它包括人工注释的字幕和视觉问答对，可以全面评估在 RS 背景下的视觉语言模型。

    Jul, 2023

  • H2RSVLM：面向有益诚实的遥感大视觉语言模型

    该研究构建了包含 1.4 百万图像 - 字幕对的大规模高质量细节遥感图像数据集 HqDC-1.4M，提供了对遥感图像更好的理解并显著提高了模型的空间感知能力；同时，开发了 RSSA 数据集，通过将无法回答的问题纳入典型的遥感视觉问答任务中，有效改善了模型输出的真实性和幻觉现象，增强了遥感视觉语言模型的诚实度；基于这些数据集，提出了 H2RSVLM，该模型在多个公共遥感数据集上取得了出色的性能，并能识别和拒绝无法回答的问题，有效减轻了错误的生成。

    Mar, 2024

  • Remote Sensing ChatGPT: 使用 ChatGPT 和视觉模型解决遥感任务

    远程感知 ChatGPT 是一个利用 ChatGPT 连接各种基于人工智能的遥感模型来解决复杂解释任务的大型语言模型。

    Jan, 2024

  • 远程传感平台中的工具增强智能代理评估

    通过对 1000 个任务的全面评估，我们提供了关于更强大的遥感应用代理的见解，以填补存在的真实场景下大型语言模型的差距。

    Apr, 2024

  • RS-Agent: 智能代理自动化遥感任务

    提出使用大型语言模型（LLM）驱动的遥感智能代理 RS-Agent 来解决遥感应用中的复杂问题，通过整合高性能的遥感图像处理工具和利用有力的知识文档回答专业问题，实验结果表明 RS-Agent 在场景分类等任务中具有出色性能。

    Jun, 2024

  • EarthGPT：遥感领域多感知器图像理解的通用多模态大型语言模型

    提出了一个先驱性的多模态大型语言模型（MLLM）EarthGPT，该模型集成了各种多传感器遥感图像解释任务，通过构建大规模的多传感器多模态遥感指令追踪数据集 MMRS，解决了 MLLM 在遥感领域缺乏专业知识的问题，并在各种遥感图像解释任务上展现出其卓越的性能，并为开放式推理任务提供了一种多功能的范例。

    Jan, 2024

  • 通过地面遥感对齐构建无需注释的遥感视觉 - 语言基础模型

    我们提出了一种基于视觉语言模型训练遥感图像的方法，无需使用任何文本注释。我们的关键洞察力是使用地面上的互联网图像作为遥感图像和语言之间的中介。通过使用大量的配对互联网和卫星图像，我们训练了遥感图像的图像编码器与 CLIP 的图像编码器对齐。我们的无监督方法使得能够训练一种新型的大规模遥感图像视觉语言模型 (VLM)，适用于两种不同分辨率的遥感图像。我们展示了这些 VLM 在卫星图像的零样本、开放词汇的图像分类、检索、分割和视觉问答任务中的能力。我们的无需文本注释的 VLM 在这些任务的每个方面都优于现有有监督训练的 VLM，分类任务上最高提升了 20%，分割任务上提升了 80%。

    Dec, 2023

  • 遥感中的视觉语言模型：当前进展与未来趋势

    本文针对远程感知领域，综述图像与文字有关的任务及相关研究领域中，采用视觉语言模型的最新进展和挑战，以及未来的发展方向。

    May, 2023

  • SkyScript：遥感视觉语言大规模和语义多样性数据集

    使用地理坐标将无标签的遥感图像与 OpenStreetMap 中的丰富语义相连接，构建了一套遥感图像的综合视觉 - 语言数据集 SkyScript，包含 260 万个图像 - 文本对，覆盖 29K 个不同的语义标签。通过在此数据集上进行持续预训练，我们获得了一个视觉 - 语言模型，相较于基准模型，在七个基准数据集上实现了 6.2％的平均准确率提升，并展示了对于细粒度对象属性分类和跨模态检索的零样本迁移能力。希望该数据集可以支持遥感领域中各种多模态任务的视觉 - 语言模型的进展，如开放词汇分类、检索、字幕生成和文本到图像合成。

    Dec, 2023