CVPRMar, 2021

目标检测的通用实例蒸馏

PDF
TL;DR利用 discriminative instances，我们提出了一个叫做 general instance distillation（GID）的检测任务中的知识蒸馏方法，其学生模型在不同的检测框架中都实现了显著的 AP 改进，甚至在 COCO 数据集上超过了教师模型。
knowledge distillationmodel compressiondetection frameworksgeneral instance distillationstudent model
发现论文，激发创造
  • 利用全局信息提炼物体检测器

    本文提出了一种更本质的知识蒸馏方法，通过测量老师和学生探测器的两个特征空间中的一组公共基向量关于实例的表示来度量全局知识，使用样本空间对齐的方式将知识蒸馏应用于构建全局知识，以过滤噪声的全局和本地知识，并证明了该方法的有效性。

    Oct, 2022

  • 实例条件知识蒸馏在物体检测中的应用

    本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏，其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息，并使用关注机制来度量不同特征的贡献，通过本地化识别敏感辅助任务进行指导，实验结果展示了我们方法的有效性。

    Oct, 2021

  • G-DetKD: 通过对比和语义引导特征模仿实现物体检测器的通用蒸馏框架

    研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

    Aug, 2021

  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • 检测器的焦点和全局知识蒸馏

    该论文提出前景和全局蒸馏技术（FGD），将知识蒸馏方法成功地应用于目标检测任务，通过前景蒸馏和全局蒸馏对学生网络进行训练，实现了对教师网络的知识迁移，取得了显著的 mAP 改进。

    Nov, 2021

  • 通过精细特征模仿提炼物体检测器

    本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

    Jun, 2019

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023

  • LGD: 面向目标检测的标签引导自蒸馏

    本研究提出了自行蒸馏 (self-distillation) 框架，在物体检测领域有显著的性能提升，无需强大的预训练模型，同时还将训练成本降低了 51%。

    Sep, 2021

  • 重新审视目标检测的知识蒸馏

    该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

    May, 2021

  • 生成去噪蒸馏：简单随机噪声在密集预测中有效传递知识

    知识蒸馏是将知识从一种更强大的大模型（教师）转移到一个更简单的对应物（学生）的过程。通过引入新颖的发生器去噪蒸馏方法（GDD），本文提出了一种从教师中导出更紧凑表示的方法，并在目标检测、实例分割和语义分割等任务中得到了新的最佳表现。

    Jan, 2024