基于因果学的干预性知识蒸馏：解融法用于小样本目标检测

AAAIAug, 2022

基于因果学的干预性知识蒸馏：解融法用于小样本目标检测

Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective

PDF

Jiangmeng Li, Yanan Zhang, Wenwen Qiang, Lingyu Si, Chengbo Jiao...

TL;DR本研究介绍了一种基于结构因果模型的退门调整式知识蒸馏方法，称为 Disentangle and Remerge（D&R），可用于针对 few-shot 目标检测任务的条件因果干预。实验结果表明，D&R 可以显著提高 few-shot 目标检测的性能。

Abstract

few-shot learning models learn representations with limited human annotations, and such a learning paradigm demonstrates practicability in various tasks, e.g., image classification, object detection, etc. However

few-shot learning object detection knowledge distillation structural causal model performance boost

发现论文，激发创造

实例条件知识蒸馏在物体检测中的应用

本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏，其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息，并使用关注机制来度量不同特征的贡献，通过本地化识别敏感辅助任务进行指导，实验结果展示了我们方法的有效性。

Oct, 2021

渐进式网络嫁接用于少样本知识蒸馏

本文介绍一种用于少样本知识蒸馏的双阶段方法，该方法仅使用了少量无标注样本，能够有效降低深度神经网络的模型复杂度和大小，实现了与传统方法相当的性能表现。

Dec, 2020

黑盒少样本知识蒸馏

本文提出了一种黑盒少样本知识蒸馏方法，使用 MixUp 和条件变分自编码器生成多样的合成图像进行训练，显著优于最新 SOTA 的少 / 零样本 KD 方法用于图像分类任务。

Jul, 2022

目标检测的知识蒸馏：从通用到遥感数据集

在遥感环境下评估了各种现成的目标检测知识蒸馏方法，比较了其性能和相互关系，并确认在遥感数据集上结果聚合和交叉验证的重要性。

Jul, 2023

多教师渐进蒸馏的轻量级目标检测学习

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023

教学中的不确定性：释放目标检测知识蒸馏的潜力

提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

Jun, 2024

重新审视目标检测的知识蒸馏

该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

May, 2021

基于跨模型半监督学习的道路检测的知识蒸馏

知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

Feb, 2024

目标检测任务集成蒸馏

通过综合考虑分类和回归任务的重要性差异，在目标检测中提出了一种能够应对知识蒸馏中偏见预测问题的方法。

Apr, 2024

自监督知识蒸馏用于少样本学习

该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

Jun, 2020