Aug, 2023

利用基于 RGB 的 CLIP 视觉语言模型在卫星图像中检测云的存在

PDF
TL;DR该研究探讨了预训练的 CLIP 视觉 - 语言模型在识别受云影响的卫星图像方面的能力。提出并评估了几种使用该模型进行云存在性检测的方法，包括纯零样本操作和几种微调方法。此外，测试了这些方法在不同数据集和传感器类型（Sentinel-2 和 Landsat-8）之间的可迁移性。结果表明，CLIP 在云存在性检测任务上可以实现非平凡的性能，并且具有跨感知模式和感知频带泛化的明显能力。研究还发现，低成本的微调阶段可以显著提高真阴性率。结果表明，CLIP 模型学习的表示对涉及云的卫星图像处理任务具有用途。
clip vision-language modelcloud presence detectionzero-shot operationfine-tuning approachessatellite image processing tasks
发现论文，激发创造
  • RemoteCLIP: 远程感知的视觉语言基础模型

    RemoteCLIP 是第一个用于遥感领域的视觉 - 语言基础模型，利用数据扩充和转换方法进行预训练，可用于零样本分类、图像文本检索和物体计数等任务，并在 16 个数据集上均优于基线模型。

    Jun, 2023

  • SatCLIP：卫星图像中的全球通用位置嵌入

    Satellite Contrastive Location-Image Pretraining (SatCLIP) is a global geographic location encoder that provides vector embeddings summarizing location characteristics, outperforming existing pretrained encoders in various predictive tasks, and enabling meaningful representations of our planet from geospatial data.

    Nov, 2023

  • BenchCloudVision: 云检测和遥感影像云分割的深度学习方法评估

    对云的分割从遥感图像进行了七种切割和检测算法的基准分析，评估了其架构方法，并确定了最佳性能。评估了模型在使用少量光谱波段进行云图分割时的灵活性。使用 Sentinel-2 和 Landsat-8 作为数据集进行了实验验证。

    Feb, 2024

  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • 使用 CLIP 引导的 StyleGAN 实现即时目标检测

    利用现代生成模型和多模态学习的组合潜能，本研究提出了一种完全自动化的框架，可对卫星图像上的目标进行检测。我们利用 CLIP（Contrastive Language-Image Pre-Training）的能力来将图像特征与文本描述相关联，并识别生成器网络中的神经元以构建即时目标检测器。

    Oct, 2022

  • 提升人工智能生成图像检测的水平与 CLIP

    本研究旨在探索预训练视觉 - 语言模型（VLMs）在人工智能生成图像的普适检测中的潜力。我们基于 CLIP 特征开发了一种轻量级检测策略，并研究其在各种具有挑战性的场景下的性能。我们发现，与以往的观点不同，并不需要使用大量特定领域的数据集进行训练是必要且方便的。相反，通过仅利用来自单个生成模型的少量示例图像，基于 CLIP 的检测器展现出了出乎意料的泛化能力，并且在包括 Dalle-3、Midjourney v5 和 Firefly 在内的最新商业工具中具有高鲁棒性。我们在分布内数据上与 SoTA 相匹配，并在分布外数据的泛化能力（AUC 提高 6%）和受损 / 清洗数据的鲁棒性上实现了显著的改进（+ 13％）。我们的项目可以在此 https URL 找到。

    Nov, 2023

  • 地球观测任务的全球多模态嵌入式少样本学习

    使用 CLIP/ViT 模型在占总陆地面积约 10% 的五个区域内，利用卫星图像的三种不同模态对其进行预训练，通过嵌入向量和经典机器学习方法，在植被、建筑表面、农田和常水的地球观测相关任务中，仅需少量标记数据即可达到与完整标记数据相当的性能水平，并且该模型对缺失的数据模态和通道具备容错性。

    Sep, 2023

  • S-CLIP: 使用少量特定字幕的半监督视觉 - 语言预训练

    提出了一种半监督学习方法 S-CLIP，利用额外的非配对图像数据为基于对比学习的语言图像预训练模型 CLIP 训练，采用两个伪标签策略，分别针对对比学习和语言模态，能够显著增强 CLIP 的训练，取得了在遥感、时尚、科学图像和漫画等多个领域中的令人瞩目的表现。

    May, 2023

  • 探索卫星图像中的少样本目标检测的鲁棒特征

    本文旨在使用仅有少量示例来进行卫星图像中的目标检测，从而使用户能够使用最少的注释来指定任何目标类。我们探讨了来自开放词汇检测和遥感领域的最新方法和思路。我们基于传统的两阶段架构开发了一个少样本目标检测器，其中分类块被基于原型的分类器替代。我们使用大规模预训练模型构建类参考嵌入或原型，并与区域建议内容进行标签预测。另外，我们提出在可用的训练图像上微调原型，以提高性能并学习类似类别之间的差异，例如飞机类型。我们对包含具有挑战性和罕见对象的两个遥感数据集进行了广泛评估。此外，我们研究了视觉和图像文本特征的性能，即 DINOv2 和 CLIP，包括专门针对遥感应用的两个 CLIP 模型。结果表明，视觉特征在很大程度上优于视觉语言模型，因为后者缺乏必要的领域特定词汇。最后，尽管训练参数很少，但开发的检测器在 SIMD 和 DIOR 数据集上表现出优于全监督和少样本方法的性能。

    Mar, 2024

  • Cloud-Net：一种适用于 Landsat 8 影像的端到端云检测算法

    本文提出了一种基于深度学习的算法，称为 Cloud-Net，用于在仅有少量谱带的卫星影像中探测云层，实验结果显示，该算法在 Jaccard Index 上的性能超过了现有算法的 8.7%。

    Jan, 2019