ICCVAug, 2021

G-DetKD: 通过对比和语义引导特征模仿实现物体检测器的通用蒸馏框架

PDF
TL;DR研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。
knowledge distillationobject detectionfeature imitationsemantic-guidedcontrastive distillation
发现论文，激发创造
  • 基于排名模仿和预测引导特征仿效的目标检测知识蒸馏

    本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

    Dec, 2021

  • 通过皮尔逊相关系数的通用蒸馏框架用于目标检测

    本研究提出一种新的知识蒸馏方法，即通过皮尔逊相关系数来模拟特征之间的相互关系，以放松特征大小的限制，从而有效地在目标检测中训练异构模型，并在 COCO2017 数据集上分别与 RetinaNet 和 FCOS 基线相比，分别获得 4.1％和 4.8％的 mAP 提高。

    Jul, 2022

  • 通过精细特征模仿提炼物体检测器

    本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

    Jun, 2019

  • DMKD: 通过双重掩模增强改进基于特征的目标检测知识蒸馏

    利用双重掩蔽知识蒸馏（DMKD）框架来捕捉空间重要性和通道相关信息以实现全面的掩蔽特征重构，通过自适应加权策略融合重构特征进行有效的特征蒸馏，在目标检测任务中与其他最先进的蒸馏方法相比，学生网络分别在 RetinaNet 和级联 Mask R-CNN 作为教师网络时取得了 4.1% 和 4.3% 的性能提升。

    Sep, 2023

  • 交叉知识蒸馏：用于密集物体检测的交叉头知识蒸馏

    本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。

    Jun, 2023

  • 检测器的焦点和全局知识蒸馏

    该论文提出前景和全局蒸馏技术（FGD），将知识蒸馏方法成功地应用于目标检测任务，通过前景蒸馏和全局蒸馏对学生网络进行训练，实现了对教师网络的知识迁移，取得了显著的 mAP 改进。

    Nov, 2021

  • 通过解耦特征压缩目标检测器

    本研究提出了一种名为 DeFeat 的新型知识蒸馏算法，通过解耦区域特征和分类头提议来提高学生检测器的性能，以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明，DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。

    Mar, 2021

  • 利用全局信息提炼物体检测器

    本文提出了一种更本质的知识蒸馏方法，通过测量老师和学生探测器的两个特征空间中的一组公共基向量关于实例的表示来度量全局知识，使用样本空间对齐的方式将知识蒸馏应用于构建全局知识，以过滤噪声的全局和本地知识，并证明了该方法的有效性。

    Oct, 2022

  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023

  • 稠密物体检测的区域定位蒸馏

    本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

    Feb, 2021