任务自适应正则化下的物体检测蒸馏
对于计算和内存资源有限的感知系统,我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能,并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上,从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。
Aug, 2023
本文提出了一种基于细粒度特征模拟的知识蒸馏方法,以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈,通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型,使得学生模型在性能表现上提高了 15% 到 74%。
Jun, 2019
本研究提出了一种名为 DeFeat 的新型知识蒸馏算法,通过解耦区域特征和分类头提议来提高学生检测器的性能,以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明,DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。
Mar, 2021
该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法,可以实现使用未标注的数据提高模型性能,同时减少标注数据的需求,还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。
May, 2021
本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏,其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息,并使用关注机制来度量不同特征的贡献,通过本地化识别敏感辅助任务进行指导,实验结果展示了我们方法的有效性。
Oct, 2021
本文提出了一种更本质的知识蒸馏方法,通过测量老师和学生探测器的两个特征空间中的一组公共基向量关于实例的表示来度量全局知识,使用样本空间对齐的方式将知识蒸馏应用于构建全局知识,以过滤噪声的全局和本地知识,并证明了该方法的有效性。
Oct, 2022
该论文提出前景和全局蒸馏技术(FGD),将知识蒸馏方法成功地应用于目标检测任务,通过前景蒸馏和全局蒸馏对学生网络进行训练,实现了对教师网络的知识迁移,取得了显著的 mAP 改进。
Nov, 2021
利用 discriminative instances,我们提出了一个叫做 general instance distillation(GID)的检测任务中的知识蒸馏方法,其学生模型在不同的检测框架中都实现了显著的 AP 改进,甚至在 COCO 数据集上超过了教师模型。
Mar, 2021
本研究提出了一种通过区域提议网络和区域分类网络的知识蒸馏来预防灾难性遗忘的方法,以持续或终身学习实时物体检测,实验结果表明该方法具有较高的 mAP 和 6 倍的推理速度提升。
Sep, 2020