Jun, 2023

交叉知识蒸馏：用于密集物体检测的交叉头知识蒸馏

PDF
TL;DR本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。
knowledge distillationobject detectorsfeature imitationcrosskddetection performance
发现论文，激发创造
  • 稠密物体检测的区域定位蒸馏

    本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

    Feb, 2021

  • 基于排名模仿和预测引导特征仿效的目标检测知识蒸馏

    本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

    Dec, 2021

  • G-DetKD: 通过对比和语义引导特征模仿实现物体检测器的通用蒸馏框架

    研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

    Aug, 2021

  • 通过知识蒸馏实现高效的 3D 目标检测

    本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

    May, 2022

  • 目标检测的结构知识蒸馏

    本文提出了一种基于结构相似性的知识蒸馏替代方法，通过考虑特征空间的对比度、结构线索、相关性和空间依赖性，在中间特征层面进行指导。在 MSCOCO 上的实验表明，这种方法简单易行、计算开销小，同时在不同的训练方案和网络架构上都能显著提高模型性能。

    Nov, 2022

  • 通过精细特征模仿提炼物体检测器

    本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

    Jun, 2019

  • 跨模态、任务和阶段的知识蒸馏：用于多摄像头三维物体检测的方法

    本文提出 X^3KD，一种基于多模态、多任务、多阶段的知识蒸馏框架，通过跨任务蒸馏、跨模态特征蒸馏、对抗训练以及跨模态输出蒸馏等方式，改进了基于多摄像头图像的 3D 物体检测模型性能，最终 X^3KD 模型在 nuScenes 和 Waymo 数据集上取得了最新的最佳性能表现，并且具有推广到基于雷达的 3D 物体检测的能力。

    Mar, 2023

  • 教学中的不确定性：释放目标检测知识蒸馏的潜力

    提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

    Jun, 2024

  • DMKD: 通过双重掩模增强改进基于特征的目标检测知识蒸馏

    利用双重掩蔽知识蒸馏（DMKD）框架来捕捉空间重要性和通道相关信息以实现全面的掩蔽特征重构，通过自适应加权策略融合重构特征进行有效的特征蒸馏，在目标检测任务中与其他最先进的蒸馏方法相比，学生网络分别在 RetinaNet 和级联 Mask R-CNN 作为教师网络时取得了 4.1% 和 4.3% 的性能提升。

    Sep, 2023

  • 稠密物体检测中蒸馏的跨任务协议一致性桥接

    我们提出了一种用于密集物体检测的新的知识蒸馏方法，解决了蒸馏和分类之间协议差异的问题，并证明其优于现有方法。

    Aug, 2023