Sep, 2024

ChangeChat：一种通过多模态指令调优进行遥感变化分析的互动模型

HTML
PDF
TL;DR本研究解决了传统遥感变化检测无法上下文化像素级变化及缺乏交互式用户查询的问题。提出的ChangeChat模型是首个专为遥感变化分析设计的双时相视觉-语言模型，利用多模态指令调优来处理复杂查询。实验结果表明，ChangeChat在特定任务上表现优于当前最先进的方法，并在用户交互方面具有显著优势。
发现论文，激发创造
  • 远程感知图像变化检测与Transformer

    介绍了一种基于双时相图像转换器的新颖的深度学习框架，用于高分辨率遥感图像变化检测，该框架通过对空时时域内的上下文进行编码来优化特征提取，实现更快速，更准确的目标检测，相对于现有的基于注意力机制的方法，本文提出的方法在提高准确性的同时，可以节省更多的计算成本。

    Feb, 2021

  • 遍地变革：遥感图像单时序监督目标变化检测

    提出了一种利用非配对图像中的对象变化作为监督信号的单时相监督学习（STAR）方法，可以利用未配对标记图像训练高精度变化检测器，并且可以推广到现实世界的双时相图像。综合实验结果表明，该方法在单时相和双时相的监督下均表现出优异性能。

    Aug, 2021

  • 远程感知变化字幕的注意力网络

    通过使用自然语言处理技术直接学习和分析遥感图像，本研究提出使用Chg2Cap网络处理双时相遥感图像变化标注任务，该网络包括Siamese CNN特征提取器、注重变化相关特征的自注意力编码器和Transformer生成器，并在两个典型遥感数据集上经过充分实验验证。

    Apr, 2023

  • 遥感变化检测方法的综述：过去十年的全面回顾

    此文章综述了遥感变化检测中深度学习在图像处理中的重要性，提供了算法分类和数据集分类的综述，并总结了现有算法的性能，为未来的研究方向提供了启示。

    May, 2023

  • 变革代理：从变化检测和变化字幕逐步推进互动综合变革解释与分析

    通过改变检测和改变标题、改变对象计数和改变原因分析等用户指令实现全面的改变解释和深入分析的交互式改变代理及其多层次改变解释模型的提出，利用BI3和LPE、GDFA来增强模型的特征表示能力，并通过LEVIR-MCI数据集的训练和广泛实验证明了其有效性和潜在潜力，为未来的研究提供了数据和代码。

    Mar, 2024

  • ChangeViT: 释放纯视觉Transformer的变化检测能力

    本文介绍了一种利用ViTs骨干结构进行大规模变化检测的ChangeViT框架，并引入细节捕获模块和特征注入器，使ChangeViT在检测大规模变化和捕获细粒度细节方面表现出色，并在LEVIR-CD、WHU-CD、CLCD和OSCD四个数据集上取得最先进的性能，验证了该方法的有效性。

    Jun, 2024

  • 远程感知图像变化检索与标注的多模态框架

    在多模态应用中，我们提出了一种创新的基于对比学习的模型，并利用RS数据集进行双时序遥感图像对的变化检测分析，实现了文本-图像检索功能。

    Jun, 2024

  • Changen2: 多时相遥感生成变化基础模型

    我们提出了基于生成模型的变化数据生成器Changen2，它能够通过自监督学习从未标记的单时相影像中生成时间序列影像及其语义和变化标签，具有优秀的时空可扩展性和迁移能力。

    Jun, 2024

  • 卫星图像时间序列语义变化检测：新颖架构与领域偏移分析

    卫星图像在监测地球表面变化、辅助气候分析、生态系统评估和灾难响应方面起着至关重要的作用。本文中，我们通过卫星图像时间序列 (SITS-SCD) 处理语义变化检测，该任务既包括变化检测，也包括语义分割。我们提出了一种增强了现有技术、更好地适应参数数量、利用长期时间信息的新架构。然而，对于实际用例，模型需要适应空间和时间偏移，这仍然是一个挑战。我们使用 DynamicEarthNet 和 MUDS 在全球、多年的 SITS 数据集上分别研究了时间和空间偏移对性能的影响。我们发现空间域偏移代表了最复杂的设置，并且时间偏移对变化检测的性能影响比对语义分割的影响更为显著，突出了它是一个需要进一步关注的具体问题。

    Jul, 2024

  • CDChat：用于遥感变化描述的大型多模态模型

    本研究针对现有大型多模态模型在遥感图像内容描述中的不足，提出了一种新的变化描述指令数据集。这种数据集能够有效微调模型，从而提升对双时相遥感图像变化的描述能力，实验表明经过微调的LLaVA-1.5模型在该任务上表现显著提升。

    Sep, 2024