Sep, 2023

适应高分辨率遥感影像变化检测的片段任意模型

PDF
TL;DR本研究旨在利用 Vision Foundation Models（VFMs）的强大视觉识别能力，提高高分辨率遥感图像（RSIs）的变化检测，并将 VFMs 应用于 HR RSIs 的 CD 是首次的。
vision foundation modelssegment anything modelremote sensingchange detectionhigh-resolution remote sensing images
发现论文，激发创造
  • 高分辨率远程感知图像无监督变化检测中的分割变换模型：以建筑物为例的案例研究

    提出了一种无监督变化检测方法 Segment Change Model (SCM)，利用 Vision Foundation Model (VFM) 和 Contrastive Language-Image Pre-training (CLIP) 来改进特征提取和提高辨别性变化边缘，最终在 LEVIR-CD 和 WHU-CD 数据集上实验结果表明 mIoU 分别提高了 7.58% 和 4.58%。

    Dec, 2023

  • RSAM-Seg：一种基于 SAM 和先验知识集成的遥感图像语义分割方法

    由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了 RSAM-Seg，即在 SAM 的基础上进行了适应性修改，消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中，我们提出了 Adapter-Scale 和 Adapter-Feature 模块，它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明，RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果，还突出了其作为辅助注释方法的潜力，可以识别某些数据集的真实值中的缺失区域。此外，在少样本情况下的表现也值得称赞，凸显了其在处理有限数据集时的潜力。

    Feb, 2024

  • 基于分段全景模型（SAM）的光学遥感图像与地图数据之间的变化检测

    本研究探讨了无监督多模态变化检测在时效性任务和综合多时序地球监测中的重要性，并介绍了利用光学高分辨率图像和 OpenStreetMap（OSM）数据进行无监督多模态变化检测的方法。我们通过使用视觉基础模型 Segmentation Anything Model（SAM）来解决这一任务，利用 SAM 的优秀的零样本迁移能力获得高质量的光学图像分割图，从而能够直接比较这两种异构数据形态。我们引入了两种策略来指导 SAM 的分割过程：'no-prompt' 方法和 'box/mask prompt' 方法。这两种策略分别用于检测一般情况下的土地覆盖变化和在已有背景下识别新的土地覆盖对象。在三个数据集上的实验结果表明，所提出的方法与代表性的无监督多模态变化检测方法相比能够取得更具竞争力的结果。

    Jan, 2024

  • 使用 Segment Anything 模型扩大遥感分割数据集的规模

    本研究提出 SAMRS，通过整合 SAM 和现有的遥感物体检测数据集以生成大规模遥感分割数据集，该数据集在大小上超过了现有的高分辨率遥感分割数据集。SAMRS 可用于语义分割、实例分割和目标检测等研究领域。同时，我们对 SAMRS 进行了全面的分析并希望它能促进遥感分割、特别是大规模模型预训练等方面的研究。

    May, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 分割任何变化

    在这篇文章中，我们提出了一种新的变化检测模型，称为 Segment Any Change Models（AnyChange），它通过训练无关的自适应方法，在零样本预测和泛化的情况下支持不同类型和数据分布的变化检测。AnyChange 通过在 Segment Anything Model（SAM）的潜在空间中揭示和利用图像内部及图像间的语义相似性来实现零样本变化检测能力。我们还提出了一种点查询机制，使得 AnyChange 具备了零样本目标中心变化检测的能力。通过大量实验证明了 AnyChange 在零样本变化检测方面的有效性。AnyChange 在 SECOND 基准测试中取得了令人瞩目的成绩，F$_1$ 分数超过了之前的最佳结果 4.4％，并在有限的手动注释（每个图像 1 个像素）的监督变化检测上实现了可比较的准确性。

    Feb, 2024

  • RAP-SAM：面向实时通用分割任何事物

    通过转换器架构，本研究提出了一种新的实时分割方案，名为全能实时分割，旨在使用一个模型实现交互分割、全景分割和视频分割等不同任务，为视觉基础模型的实时应用提供了强有力的基准和优化方法。

    Jan, 2024

  • 基于 SAM 先验的多视角遥感图像分割

    通过将可视化基础模型 Segment Anything（SAM）注入到隐式神经场模型 - INF 中，我们提出了一种新的多视图遥感图像分割方法，通过对测试视图和训练视图之间的 SAM 特征进行对比，得出每个测试视图的伪标签，从而增强整个场景的标注信息，实验证明我们的方法在有限的训练数据情况下优于主流方法，从而证实了 SAM 作为 INF 的一种补充在这一任务中的有效性。

    May, 2024

  • 使用 SAM 进行建筑物分割模型的零样本精细调整

    我们提出了一种新颖的方法来针对现有模型的泛化性能下降问题，将基础模型自适应于特定领域，如遥感图像。我们通过集成预训练的卷积神经网络作为提示生成器，为 Segment Anything Model 增加了识别能力，从而改善了其在遥感图像上的表现。通过在三个遥感数据集上评估我们的方法，包括 WHU Buildings 数据集、Massachusetts Buildings 数据集和 AICrowd Mapping Challenge 数据集，我们观察到我们的方法在不同分布的性能上取得了显著提高，并计划发布我们的代码库，以促进遥感领域对基础模型进行更多领域特定任务的探索。

    Oct, 2023