ICMLAug, 2023

多教师渐进蒸馏的轻量级目标检测学习

PDF
TL;DR对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。
resource-constrained perception systemsknowledge distillationobject detectioninstance segmentationsequential approach
发现论文，激发创造
  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • 重新审视目标检测的知识蒸馏

    该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

    May, 2021

  • 使用分层知识蒸馏学习轻量级行人检测器

    本研究提出了一种新的层次化知识蒸馏框架，以学习轻量级行人检测器，该方法可以显著降低计算成本并同时保持高精度。实验结果表明，使用我们的框架训练的学生模型，在参数数量压缩了 6 倍的情况下，仍然可以在广泛使用的行人检测基准上实现与老师模型相当的性能。

    Sep, 2019

  • 通过精细特征模仿提炼物体检测器

    本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

    Jun, 2019

  • 强化多教师选择的知识蒸馏

    本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

    Dec, 2020

  • 知识蒸馏：好老师耐心且一致

    本文介绍了一种用于减小大规模计算机视觉模型尺寸、同时不影响性能的知识蒸馏方法，并且明确了影响该方法有效性的设计选择。通过全面的实验研究，我们在多种视觉数据集上获得了令人信服的结果，并实现了在 ImageNet 数据集上的 ResNet-50 模型的最新表现，其 top-1 准确率为 82.8％。

    Jun, 2021

  • 基于知识蒸馏的高效医学图像分割

    我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

    Aug, 2021

  • 实例条件知识蒸馏在物体检测中的应用

    本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏，其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息，并使用关注机制来度量不同特征的贡献，通过本地化识别敏感辅助任务进行指导，实验结果展示了我们方法的有效性。

    Oct, 2021

  • 目标检测的通用实例蒸馏

    利用 discriminative instances，我们提出了一个叫做 general instance distillation（GID）的检测任务中的知识蒸馏方法，其学生模型在不同的检测框架中都实现了显著的 AP 改进，甚至在 COCO 数据集上超过了教师模型。

    Mar, 2021

  • 教学中的不确定性：释放目标检测知识蒸馏的潜力

    提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

    Jun, 2024