用视觉描述正则化的零样本航空目标检测

Feb, 2024

用视觉描述正则化的零样本航空目标检测

Zero-Shot Aerial Object Detection with Visual Description Regularization

Zhengqing Zang, Chenyu Lin, Chenwei Tang, Tao Wang, Jiancheng Lv

TL;DR我们提出了一种名为 DescReg 的航空目标检测的零样本方法，通过先前描述目标的视觉外观，将先前的类间视觉相似性注入嵌入学习，从而解决了航空目标检测中的挑战。在 DIOR、xView 和 DOTA 的三个具有挑战性的航空目标检测数据集上进行了大量实验证明，DescReg 在未见类别上优于现有最先进的零样本方法，并且在 DIOR 上的 mAP 上性能提高了 4.5 个百分点，在 HM 上提高了 8.1 个百分点。我们还展示了 DescReg 的泛化性能，将其集成到生成式的零样本方法中并进行了不同的检测架构的实验。

Abstract

Existing object detection models are mainly trained on large-scale labeled datasets. However, annotating data for novel aerial object classes is expensive since it is time-consuming and may require expert knowledge. Thus, it is desirable to study label-efficient →

object detection aerial images zero-shot method description regularization similarity-aware triplet loss

发现论文，激发创造

零样本物体检测

本文提出了一种解决零样本目标检测问题的方法，并通过使用视觉 - 语义嵌入，背景感知方法，以及使用大量类别语义标签的辅助数据来解决仅有少数训练类别的问题。在 MSCOCO 和 VisualGenome 两个标准检测数据集上进行实验，验证了该方法的有效性。

Apr, 2018

混合区域嵌入的零样本目标检测

该研究提出了一种基于凸组合嵌入的检测框架来解决零样本目标检测问题，并在 Fashion-MNIST 数据集上进行实验，在 Pascal VOC 检测挑战中获取了令人满意的结果。

May, 2018

零样本目标检测：学会同时识别和定位新概念

本文提出了用于同时识别和定位未见过类别的物体实例的 Zero-Shot Detection 问题，并引入基于 ILSVRC 数据集的新实验协议和元类概念来改善自动推导的语义描述的噪音，旨在在视觉和语义领域信息之间建立协同作用的新型 'Zero-Shot Detection' 深度神经网络。

Mar, 2018

基于语义引导的零样本目标检测对比网络

ContrastZSD 是一种用于零样本目标检测的基于语义指导对比学习的检测框架，它通过引入显式的语义指导和对比学习机制，来优化模型对未见过类别的认知，同时改善视觉特征结构以实现更好的视觉 - 语义对齐。

Sep, 2021

DETReg: 无监督预训练结合区域先验用于目标检测

本研究通过引入 DETReg，一种新的自监督方法，对整个目标检测网络进行预训练，包括目标定位和嵌入组件，取得了在 COCO 等低数据环境中许多最先进结果的 + 6.0 AP 改进的成果。

Jun, 2021

探索卫星图像中的少样本目标检测的鲁棒特征

本文旨在使用仅有少量示例来进行卫星图像中的目标检测，从而使用户能够使用最少的注释来指定任何目标类。我们探讨了来自开放词汇检测和遥感领域的最新方法和思路。我们基于传统的两阶段架构开发了一个少样本目标检测器，其中分类块被基于原型的分类器替代。我们使用大规模预训练模型构建类参考嵌入或原型，并与区域建议内容进行标签预测。另外，我们提出在可用的训练图像上微调原型，以提高性能并学习类似类别之间的差异，例如飞机类型。我们对包含具有挑战性和罕见对象的两个遥感数据集进行了广泛评估。此外，我们研究了视觉和图像文本特征的性能，即 DINOv2 和 CLIP，包括专门针对遥感应用的两个 CLIP 模型。结果表明，视觉特征在很大程度上优于视觉语言模型，因为后者缺乏必要的领域特定词汇。最后，尽管训练参数很少，但开发的检测器在 SIMD 和 DIOR 数据集上表现出优于全监督和少样本方法的性能。

Mar, 2024

零样本点云配准

本研究提出了一种零样本点云配准方法 ZeroReg，通过将图像特征从关键点传递到点云中，利用 3D 几何邻域信息构建时引入的图像特征来解决传统方法中需要在特定数据集上进行训练的问题，因此，ZeroReg 可在点云配准任务中实现出色的性能。

Dec, 2023

零样本遥感图像场景分类的深度语义视觉对齐

我们通过机器自动收集可视属性，并利用转换器中的自注意机制将局部图像区域关联起来，集成背景上下文信息进行预测，以解决远程感知场景分类中的零样本学习问题。通过广泛实验，我们展示了我们的模型在具有挑战性的大规模远程感知场景分类基准上优于其他最先进模型。

Feb, 2024

零样本检测

提出一种零样本方法，该方法通过训练一个将语义属性预测与视觉特征融合以提出所观察到和未观察到对象类别的目标边界框的端到端模型，不使用语义信息，在测试时能明显提高针对未知对象的平均精度，应用于 PASCAL VOC 和 MS COCO 数据集时观察到显著改进。

Mar, 2018

遥感影像中的细粒度物体识别与零样本学习

研究了一种基于卷积神经网络的零迁移学习模型，该模型利用辅助信息学习一种兼容性函数，实现对未看到类别的识别，并对通过多种辅助信息对新数据集进行了实验验证。

Dec, 2017