Mar, 2024
探索卫星图像中的少样本目标检测的鲁棒特征
Exploring Robust Features for Few-Shot Object Detection in Satellite
Imagery
TL;DR本文旨在使用仅有少量示例来进行卫星图像中的目标检测，从而使用户能够使用最少的注释来指定任何目标类。我们探讨了来自开放词汇检测和遥感领域的最新方法和思路。我们基于传统的两阶段架构开发了一个少样本目标检测器，其中分类块被基于原型的分类器替代。我们使用大规模预训练模型构建类参考嵌入或原型，并与区域建议内容进行标签预测。另外，我们提出在可用的训练图像上微调原型，以提高性能并学习类似类别之间的差异，例如飞机类型。我们对包含具有挑战性和罕见对象的两个遥感数据集进行了广泛评估。此外，我们研究了视觉和图像文本特征的性能，即DINOv2和CLIP，包括专门针对遥感应用的两个CLIP模型。结果表明，视觉特征在很大程度上优于视觉语言模型，因为后者缺乏必要的领域特定词汇。最后，尽管训练参数很少，但开发的检测器在SIMD和DIOR数据集上表现出优于全监督和少样本方法的性能。