CVPRMar, 2023

面向开放词汇物体检测的目标感知蒸馏金字塔

PDF
TL;DR本研究提出了一种基于目标感知的提取知识框架 OADP，包括 OAKE 模块和 DP 机制，通过自适应变换目标提案和引入全局和块知识提取以弥补对象精炼中的信息缺失。在 MS-COCO 数据集上，该方法取得了显著的改进。
open-vocabulary object detectionobject-aware distillation pyramidknowledge extractionknowledge transferms-coco dataset
发现论文，激发创造
  • 使用分层视觉语言知识蒸馏进行开放词汇单阶段检测

    本文提出了一种层次化的视觉 - 语言知识蒸馏方法 (HierKD) 用于开放词汇的单阶检测，该方法探索全局级别的知识蒸馏来传递来自预训练视觉语言模型的未知类别的知识到检测器，并将全局级别知识蒸馏和常见的实例级别知识蒸馏相结合，从而同时学习已知和未知类别的知识，实验结果表明，与最好的二级检测器相比，我们的方法在零样本检测和广义零样本检测设置下分别取得了 11.9％和 6.7％$AP_{50}$ 的增益，同时将 $AP_{50}$ 性能差距从 14％降低至 7.3％。

    Mar, 2022

  • 一种简单的知识蒸馏框架用于开放世界物体检测

    通过蒸馏视觉 - 语言模型中的开放世界知识，并提出一种权重降低的损失函数以及通过分离定位和识别来减少已知和未知对象的相互影响，我们成功地改进了未知对象的检测性能。

    Dec, 2023

  • 通过视觉和语言知识蒸馏进行开放式目标检测

    本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

    Apr, 2021

  • 利用学习背景提示来发现开放词汇对象检测的隐含知识

    提出了一种新颖的开放式词汇目标检测（OVD）框架，通过学习背景提示来增强检测性能，涉及背景解释、模型过拟合和检测性能等方面的问题。在 OV-COCO 和 OV-LVIS 两个基准数据集上的评估结果表明，我们提出的方法在处理 OVD 任务时优于现有的最先进方法。

    Jun, 2024

  • 好的开放式字词探测器的要素：一个拆解的视角

    开放词汇检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。本文提出了三种 OVD 方法，并通过实验验证了这些方法在不同设置下的性能。其中，DRR 方法在 OVD-COCO 基准测试中取得了最佳表现，并相对于先前最先进水平获得了 2.8 的 AP$_{50}$ 绝对增益。

    Sep, 2023

  • KD-VLP: 用目标知识蒸馏改善端到端的视觉与语言预训练

    本文提出了一种基于图片格特征和语言信息的端到端多模式表示学习框架，其中使用自监督的对象知识蒸馏以提高跨模态对齐的准确性和效率，并在广泛的视觉和语言任务上取得了竞争性的表现。

    Sep, 2021

  • 基于知识聚合和蒸馏的主动目标检测

    提出了一种基于知识集成和知识蒸馏的活动物体检测方法，通过提供关于物体相关的可行交互信息来改善活动物体检测，实现了当前最先进的性能。

    May, 2024

  • 基于注意力机制的深度蒸馏技术与三维感知位置编码在单目三维物体检测中的应用

    提出了一种名为 ADD 的基于注意力的深度知识蒸馏框架，采用 3D 感知的位置编码方式，以在 KITTI 3D 目标检测基准测试上实现单目 3D 目标检测的最先进性能。

    Nov, 2022

  • CastDet: 以 CLIP 激活的师生学习实现开放词汇空中目标检测

    本文研究了在航拍图像中的物体检测问题，提出了一种使用 CLIP 激活的学生 - 教师模型的开放词汇物体检测框架，通过同时生成高质量的候选区域和伪标签来提高新物体的检测性能。

    Nov, 2023

  • 打通目标与图像级别表示以实现开放词汇检测

    本文提出了一种基于 CLIP 模型和图像水平监督的对象中心对齐的方法，运用伪标注实现高质量对象提议并在训练过程中扩展词汇表，通过新的权重传递函数将两种对象对齐策略结合，实现了在 OVD 方案中对象和图像中心表示的最小化差距。在 COCO 数据集上，我们的方法在新颖类别上取得了 36.6 的 AP50 表现，绝对值超过了以前的最佳性能。对于 LVIS，我们在罕见类别上超越了最新的 ViLD 模型达 5.0 的掩膜 AP，总体提高 3.4。

    Jul, 2022