Apr, 2022

基于元学习的跨模态提示的多模态小样本目标检测

PDF
TL;DR本文介绍了一种基于多模态少样本学习的目标检测方法，使用视觉样本和分类语义信息来检测目标，通过元学习和提示学习相结合，在不需要微调的情况下建立通用少 / 零样本检测模型，同时引入知识蒸馏来解决针对稀有类别缺乏类名称先验知识的问题，通过在多个少样本数据集上的实验来验证该方法的有效性。
multi-modal few-shot object detectionvisual examplesclass semantic informationmeta-learningprompt-based learning
发现论文，激发创造
  • 语义增强的少样本目标检测

    提出了一个使用语义嵌入进行精细调整的少样本目标检测框架，通过使用语义相似性分类器，多模态特征融合和语义感知最大边界损失，解决了现有方法在极低样本场景中对新类别存在的分类混淆和性能下降问题。

    Jun, 2024

  • 跨领域多模态少样本目标检测：基于丰富文本

    我们提出了一种多模态小样本物体检测方法，利用丰富的文本语义信息作为辅助模态来实现领域自适应，通过多模态特征聚合模块和丰富的文本语义校正模块增强模型的语言理解能力，实验证明该方法明显优于现有的小样本物体检测方法。

    Mar, 2024

  • 道路物体检测的小样本学习

    本篇研究考虑在现实世界中具有类别不平衡的情况下进行 few-shot 目标检测（FSOD）。通过对印度驾驶数据集（IDD）进行实验，同时评估了基于度量学习和元学习的 FSOD 方法在同领域实验和对象样本稀少的实验中的表现。结果显示距离度量学习的方法在新颖的类上表现优于元学习。此外，本研究还证明了在真实世界的开放数据集中扩展目标类别是进行 few-shot 学习研究的有利方式。

    Jan, 2021

  • Meta Faster R-CNN: 基于注意力特征对齐的精准少样本目标检测

    提出了一种基于元学习的 FSOD 模型，通过联合优化少样本提议生成和细粒度分类，采用轻量级的基于度量学习的原型匹配网络来提高少样本类别的提议生成，提出了一种注意力特征对齐方法来解决噪声提议与少量样本类别之间的空间失配问题。在多个 FSOD 基准上取得了最先进的性能。

    Apr, 2021

  • 具有异构图卷积网络的查询自适应少样本目标检测

    本文提出了一种使用异构图卷积网络的新颖 FSOD 模型，通过三种不同类型的边在所有提案和类节点之间进行有效的消息传递，从而获得上下文感知提案特征和查询自适应的多类增强原型表示，这有助于促进成对匹配并提高 FSOD 准确性，在 PASCAL VOC 和 MSCOCO FSOD 基准测试中，我们的模型 QA-FewDet 在不同的拍摄数和评估指标下优于现有的最先进方法。

    Dec, 2021

  • 重新审视视觉语言模型下的少样本目标检测

    本论文提出了一种基于少样本目标检测的新的评估协议，旨在在任何外部数据集上预训练和微调检测器，并且通过利用联合学习策略，改进了现有方法，并在 LVIS 和 nuImages 上获得 5.9 个 AP 的提升。

    Dec, 2023

  • 基于全交叉变换器的小样本目标检测

    本文提出了一种新的基于 Fully Cross-Transformer 的模型 (FCT) 实现 few-shot 目标检测，通过在特征 backbone 和检测头中结合跨模块交互 attention，提高模型中不同表示层之间的相似性学习以达到更好的性能。在 PASCAL VOC 和 MSCOCO FSOD 基准测试上的实验验证了该模型的有效性。

    Mar, 2022

  • 多模态少样本时间动作检测

    本文提出了一种新颖的多模态 Few-shot TAD 问题，利用新的类别名称和少量支撑视频联合处理，使用 MUPPET 方法来有效地将预先训练的视觉和语言模型耦合在一起，实现了当前最优表现，同时可拓展解决少样本目标检测问题。

    Nov, 2022

  • 细粒度原型蒸馏用于少样本目标检测

    我们提出了一种新的方法，利用元学习和精细原型来改进少样本目标检测，并通过新的特征聚合模块、平衡类别无关采样和非线性融合模块来提高高级特征融合，从而在 PASCAL VOC 和 MS COCO 基准测试中取得了最先进的性能。

    Jan, 2024

  • 自适应交叉模态少样本学习

    本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

    Feb, 2019