重新审视视觉语言模型下的少样本目标检测
本报告介绍了一种增强的方法来解决基础性少样本物体检测任务,利用视觉语言模型 (VLM) 进行物体检测。为解决 VLM 可能遇到的与目标概念不一致的问题,本研究提出了 VLM + 框架,把多模态大型语言模型 (MM-LLM) 集成到 VLM 中。通过 MM-LLM 生成每个类别的一系列参考表达式,根据 VLM 的预测和给定的注释,选取与每个类别最大 IoU 匹配的最佳参考表达式,并生成伪标签来细调 VLM。该方法在最终测试中达到了 32.56 mAP。
Jun, 2024
提出了一个使用语义嵌入进行精细调整的少样本目标检测框架,通过使用语义相似性分类器,多模态特征融合和语义感知最大边界损失,解决了现有方法在极低样本场景中对新类别存在的分类混淆和性能下降问题。
Jun, 2024
本文提出了一个基于多领域的数据集的多领域少样本目标检测(MoFSOD)基准测试,以评估少样本算法的性能,并通过冻结层、不同体系结构和不同预训练数据集等方面的实验结果发现了多个影响少样本目标检测性能的关键因素,并提出了两种算法改进方法,在 MoFSOD 基准测试中实现 SOTA 表现。
Jul, 2022
提出了一种基于自我训练的少样本目标检测 (ST-FSOD) 方法,通过引入自我训练机制和学生 - 教师机制,在少样本细调过程中发现未标注的新对象,并在训练过程中考虑它们。实验结果表明,该方法在各种少样本目标检测设置中优于现有技术。
Sep, 2023
本篇研究考虑在现实世界中具有类别不平衡的情况下进行 few-shot 目标检测(FSOD)。通过对印度驾驶数据集(IDD)进行实验,同时评估了基于度量学习和元学习的 FSOD 方法在同领域实验和对象样本稀少的实验中的表现。结果显示距离度量学习的方法在新颖的类上表现优于元学习。此外,本研究还证明了在真实世界的开放数据集中扩展目标类别是进行 few-shot 学习研究的有利方式。
Jan, 2021
本文提出了一个名为 Hi-FSOD 的新问题,旨在在 FSOD 范式中检测具有分层类别的对象,并在 Hi-FSOD-Bird 基准数据集上使用 Hierarchical Contrastive Learning 方法及概率损失训练模型,优于现有 FSOD 方法。
Oct, 2022
本文介绍了一种基于多模态少样本学习的目标检测方法,使用视觉样本和分类语义信息来检测目标,通过元学习和提示学习相结合,在不需要微调的情况下建立通用少 / 零样本检测模型,同时引入知识蒸馏来解决针对稀有类别缺乏类名称先验知识的问题,通过在多个少样本数据集上的实验来验证该方法的有效性。
Apr, 2022
本文回顾了近年来少样本目标检测(FSOD)领域的重要进展,总结了现有挑战和解决方案,通过提出一种新颖的 FSOD 分类方法和调查丰富的 FSOD 算法,得出了促进 FSOD 问题深入理解和创新解决方案发展的全面概述,并讨论了这些算法的优点和限制,总结了在数据匮乏场景中目标检测的挑战、潜在的研究方向和发展趋势。
Apr, 2024
通过约束微调方法(CFA)和基于平均梯度情景记忆(A-GEM)的连续学习方法,我们提出了一种深度学习算法,名为 G-FSOD,用于在有限数据情况下检测新类别的对象,避免了严重的遗忘问题,实现针对测试任务的更佳知识交换。
Apr, 2022
我们开发了一种半监督算法,通过检测和利用未标记的新颖对象来改善少样本目标检测的性能。我们的方法使用层次化三元分类算法以区分这些对象,并通过改善区域提议网络的感知能力来提高目标检测模型对大型对象的检测性能。实验结果表明,我们的方法是有效的,并且优于现有的少样本目标检测方法。
Aug, 2023