Aug, 2021

标签分配蒸馏提升物体检测能力

PDF
TL;DR本文提出了 Label Assignment Distillation (LAD) 和 Co-learning LAD 用于目标检测中标签分配的问题，实验结果表明 LAD 更有效且可与 soft-label 相结合，以及使用较小的 Teacher 网络也能够显著提高表现。
label assignmentobject detectionlabel assignment distillationco-learning ladteacher-student network
发现论文，激发创造
  • 重新审视目标检测的知识蒸馏

    该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

    May, 2021

  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • LGD: 面向目标检测的标签引导自蒸馏

    本研究提出了自行蒸馏 (self-distillation) 框架，在物体检测领域有显著的性能提升，无需强大的预训练模型，同时还将训练成本降低了 51%。

    Sep, 2021

  • 基于标签引导的车道线分割注意力蒸馏

    本文提出一种基于标签引导的注意力蒸馏方法（LGAD），用于训练分割网络以更好地捕捉诸如车道标记之类的长程上下文信息。通过将标签结构信息嵌入教师网络中，并利用其注意力图作为学生网络的监督信号，能够显著提高学生网络的训练效果。

    Apr, 2023

  • 利用自我训练实现目标检测器对新领域的自动适应

    本文提出了一种基于未标注视频数据的无监督目标检测器自适应方法，该方法利用现有检测器的高置信度检测结果和跟踪器获取时序提示来自动获取目标数据标签，然后通过修改知识蒸馏损失函数和软标签的分配方法进行重新训练，实验结果表明该方法恰当地利用了追踪获取的困难样本，使用蒸馏损失函数的软标签优于硬标签，是一种简单且不依赖超参数的有效无监督目标检测器自适应方法。

    Apr, 2019

  • LTD: 低温蒸馏针对强健对抗性训练

    本文提出一种名为低温蒸馏（LTD）的方法，旨在生成所需的软标签以提高神经网络模型对抗性攻击的鲁棒性，实验结果表明，该方法与先前的工作结合能够在不使用额外的未标记数据的情况下，在 CIFAR-10 和 CIFAR-100 数据集上分别获得 57.72％和 30.36％的鲁棒准确性，平均改进了 1.21％的现有最新方法。

    Nov, 2021

  • 标签并不平等：训练物体检测的标签成本合理化

    本文提出了一个统一的主动学习框架，并考虑到了检测器的不确定性和鲁棒性，从而保证了网络在所有类中的良好表现，并利用自动标注抑制潜在的分布漂移，提高了模型的性能。实验表明，我们的方法在 PASCAL VOC07+12 和 MS-COCO 上始终优于广泛应用的主动学习方法，在 mAP 上提高了 7.7%, 或在标注成本上降低了 82%。

    Jun, 2021

  • LSDA：大规模适应检测

    本文提出了一种名为 LSDA 的算法，可以从分类图像数据中自动学习分类器以实现目标检测任务，使得即使没有边界框注释数据的成千上万个目标类别也有可能被检测出来，并在 ImageNet 数据集上进行了评估。

    Jul, 2014

  • 基于弱监督检测知识蒸馏的多标签图像分类

    本文提出了一种基于深度学习并利用弱监督检测模型去除物体标注信息的多标签图像分类方法，该方法能有效提高性能并保持高效。实验证明该方法在两个大型数据集（MS-COCO 和 NUS-WIDE）上均优于现有的先进方法。

    Sep, 2018

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023