Mar, 2022

使用分层视觉语言知识蒸馏进行开放词汇单阶段检测

PDF
TL;DR本文提出了一种层次化的视觉 - 语言知识蒸馏方法 (HierKD) 用于开放词汇的单阶检测，该方法探索全局级别的知识蒸馏来传递来自预训练视觉语言模型的未知类别的知识到检测器，并将全局级别知识蒸馏和常见的实例级别知识蒸馏相结合，从而同时学习已知和未知类别的知识，实验结果表明，与最好的二级检测器相比，我们的方法在零样本检测和广义零样本检测设置下分别取得了 11.9％和 6.7％$AP_{50}$ 的增益，同时将 $AP_{50}$ 性能差距从 14％降低至 7.3％。
open-vocabulary object detectionknowledge distillationone-stage detectionglobal-level knowledge distillationms-coco
发现论文，激发创造
  • 通过视觉和语言知识蒸馏进行开放式目标检测

    本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

    Apr, 2021

  • 一种简单的知识蒸馏框架用于开放世界物体检测

    通过蒸馏视觉 - 语言模型中的开放世界知识，并提出一种权重降低的损失函数以及通过分离定位和识别来减少已知和未知对象的相互影响，我们成功地改进了未知对象的检测性能。

    Dec, 2023

  • 面向开放词汇物体检测的目标感知蒸馏金字塔

    本研究提出了一种基于目标感知的提取知识框架 OADP，包括 OAKE 模块和 DP 机制，通过自适应变换目标提案和引入全局和块知识提取以弥补对象精炼中的信息缺失。在 MS-COCO 数据集上，该方法取得了显著的改进。

    Mar, 2023

  • KD-VLP: 用目标知识蒸馏改善端到端的视觉与语言预训练

    本文提出了一种基于图片格特征和语言信息的端到端多模式表示学习框架，其中使用自监督的对象知识蒸馏以提高跨模态对齐的准确性和效率，并在广泛的视觉和语言任务上取得了竞争性的表现。

    Sep, 2021

  • 开放词汇物体检测的多模式分类器

    本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

    Jun, 2023

  • 好的开放式字词探测器的要素：一个拆解的视角

    开放词汇检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。本文提出了三种 OVD 方法，并通过实验验证了这些方法在不同设置下的性能。其中，DRR 方法在 OVD-COCO 基准测试中取得了最佳表现，并相对于先前最先进水平获得了 2.8 的 AP$_{50}$ 绝对增益。

    Sep, 2023

  • 利用学习背景提示来发现开放词汇对象检测的隐含知识

    提出了一种新颖的开放式词汇目标检测（OVD）框架，通过学习背景提示来增强检测性能，涉及背景解释、模型过拟合和检测性能等方面的问题。在 OV-COCO 和 OV-LVIS 两个基准数据集上的评估结果表明，我们提出的方法在处理 OVD 任务时优于现有的最先进方法。

    Jun, 2024

  • 大词汇量物体检测器的域适应

    本文介绍了 KGD（Knowledge Graph Distillation）技术，它利用了 CLIP 中的隐式知识图，通过两个连续阶段将知识图传递到大词汇物体检测器（LVDs），从而在各种下游领域中实现准确的跨领域物体分类。实验证明，KGD 在多个广泛采用的检测基准上始终优于最先进水平。

    Jan, 2024

  • DST-Det: 开放词汇目标检测的简单动态自训练

    使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

    Oct, 2023

  • F-VLM：基于冻结视觉和语言模型的开放词汇物体检测

    本文提出了 F-VLM，一种基于 Frozen Vision and Language Models 的简单开放式识别目标检测方法，通过消除知识蒸馏和定制化预训练，简化了现有的多阶段训练管道，实验结果表明 F-VLM 实现了优异的可扩展性，对于 LVIS open-vocabulary detection benchmark 实现了 + 6.5 mask AP 的改进，并在 COCO 开放式识别目标检测基准测试和跨数据集转移检测方面也取得了很有竞争力的结果。

    Sep, 2022