May, 2024

Diffusion-RSCC: 遥感图像中变化描述的扩散概率模型

PDF
TL;DR遥感图像变化标题生成（RSICC）旨在生成人类化语言，描述双时相遥感图像对之间的语义变化。我们提出了一种概率扩散模型来解决传统变化标题生成任务中的像素级差异对地形变化定位的影响，并在 LEVIR-CC 数据集上进行了广泛实验，展示了我们 Diffusion-RSCC 的有效性及其各个组成部分。
remote sensing image change captioningdiffusion modelcross modal featuresnoise predictorlevir-cc dataset
发现论文，激发创造
  • 遥感变化描述的像素级变化检测伪标签学习

    通过模型训练和像素级 CD 伪标签，我们提出了一种用于遥感图像变化字幕的创新网络，该网络具有辅助的 CD 分支和语义融合增强模块，经实验证明此方法在描述变化方面取得了最先进的性能。

    Dec, 2023

  • RSCaMa：带有状态空间模型的遥感图像变化描述

    远程感知图像变化字幕化通过识别多时相遥感图像中的表面变化并用自然语言描述它们，当前的方法通常依赖于编码器 - 解码器结构，并侧重于设计一个复杂的 “颈部” 来处理骨干提取的双时相特征。最近，状态空间模型（SSM），特别是 Mamba，在许多领域展示了出色的性能，这归功于其高效的特征选择建模能力。然而，它们在 RSICC 任务中的潜力尚未被探索。本文将 Mamba 引入到 RSICC 中，并提出了一种名为 RSCaMa（远程感知变化字幕化 Mamba）的新方法。具体而言，我们利用孪生骨干提取双时相特征，然后通过由空间差异引导的 SSM（SD-SSM）和时间逐步旅行的 SSM（TT-SSM）组成的多 CaMa 层进行处理。SD-SSM 利用差异特征来增强变化感知能力，而 TT-SSM 以记号级跨扫描方式促进双时相交互作用。实验证明了 CaMa 层的有效性，并展示出 RSCaMa 的卓越性能以及 Mamba 在 RSICC 任务中的潜力。此外，我们系统地比较了三种语言解码器的效果，包括 Mamba、具有因果关注机制的 GPT 风格解码器以及具有交叉关注机制的 Transformer 解码器。这为未来的 RSICC 研究提供了有价值的见解。代码将可在此链接上找到。

    Apr, 2024

  • RSDiff：基于扩散模型的遥感图像生成

    通过渐进式扩散模型，纯基于文本提示逐渐生成高分辨率的卫星图像，并在远程感知领域取得了优越的超分辨率结果与真实地理特征的生成。

    Sep, 2023

  • 远程感知图像变化检索与标注的多模态框架

    在多模态应用中，我们提出了一种创新的基于对比学习的模型，并利用 RS 数据集进行双时序遥感图像对的变化检测分析，实现了文本 - 图像检索功能。

    Jun, 2024

  • 一种用于遥感图像变化描述的轻量级 Transformer

    提出了一种稀疏聚焦变换器用于遥感图像变化编码任务，通过在变换器编码中引入稀疏注意机制，降低参数数量和计算复杂度，与其他最先进的遥感图像变化编码方法相比，仍能获得竞争性性能。

    May, 2024

  • 变革代理：从变化检测和变化字幕逐步推进互动综合变革解释与分析

    通过改变检测和改变标题、改变对象计数和改变原因分析等用户指令实现全面的改变解释和深入分析的交互式改变代理及其多层次改变解释模型的提出，利用 BI3 和 LPE、GDFA 来增强模型的特征表示能力，并通过 LEVIR-MCI 数据集的训练和广泛实验证明了其有效性和潜在潜力，为未来的研究提供了数据和代码。

    Mar, 2024

  • 远程感知变化字幕的注意力网络

    通过使用自然语言处理技术直接学习和分析遥感图像，本研究提出使用 Chg2Cap 网络处理双时相遥感图像变化标注任务，该网络包括 Siamese CNN 特征提取器、注重变化相关特征的自注意力编码器和 Transformer 生成器，并在两个典型遥感数据集上经过充分实验验证。

    Apr, 2023

  • 远程扩散

    利用 RSICD 數據集訓練了具有 0.2 損失的 Stable Diffusion 模型，並通過合成數據集和定制遙感 LLM 進行了 Land Use Land Classification 任務，但由於標題質量和模型表現的挑戰，生成的圖像和數據集的質量有所不足。

    May, 2024

  • 用于标题和检索遥感图像的大规模语言模型

    本研究提出了 RS-CapRet，一种远程感知任务的视觉和语言方法，主要用于图像字幕生成和文本 - 图像检索。通过对远程感知图像进行对比性语言 - 图像预训练，我们将高性能大型解码器语言模型与适应远程感知图像的图像编码器结合使用。RS-CapRet 能够为远程感知图像生成描述，并能够根据文本描述检索图像，以实现与现有方法相媲美的性能。定性结果表明，RS-CapRet 能够有效利用预训练的大型语言模型描述远程感知图像，并能够处理图像和文本的交错序列对话。

    Feb, 2024

  • CRS-Diff: 可控卫星遥感基础模型生成

    提出了一种专门针对遥感图像生成的扩散建模框架 CRS-Diff，利用扩散模型的内在优势并整合先进的控制机制，以确保图像不仅在视觉上清晰，而且充满地理和时间信息。综合评估证明，CRS-Diff 在图像质量和多样性方面相对于之前的方法具有卓越的生成能力。

    Mar, 2024