Sep, 2019

使用分层知识蒸馏学习轻量级行人检测器

PDF
TL;DR本研究提出了一种新的层次化知识蒸馏框架，以学习轻量级行人检测器，该方法可以显著降低计算成本并同时保持高精度。实验结果表明，使用我们的框架训练的学生模型，在参数数量压缩了 6 倍的情况下，仍然可以在广泛使用的行人检测基准上实现与老师模型相当的性能。
pedestrian detectionknowledge distillationhierarchical distillation frameworkcomputational costneural network
发现论文，激发创造
  • 信任教师：学习压缩模型进行行人检测

    本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。

    Dec, 2016

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023

  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • 通过知识蒸馏实现高效的 3D 目标检测

    本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

    May, 2022

  • 基于知识蒸馏的高效医学图像分割

    我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

    Aug, 2021

  • 使用无监督多阶段特征学习进行行人检测

    本文利用卷积网络模型，采用多阶特征提取，全局形状信息和本地独特的纹理信息相结合以及基于卷积稀疏编码的无监督方法来预训练过滤器，取得了所有主要行人数据集上的最先进和有竞争力的结果，从而解决了行人检测的实际问题。

    Dec, 2012

  • G-DetKD: 通过对比和语义引导特征模仿实现物体检测器的通用蒸馏框架

    研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

    Aug, 2021

  • 用于小规模高速公路网络的知识蒸馏

    本文研究基于知识蒸馏的紧凑深度神经网络模型用于语音识别任务，并通过序列训练和适应进一步提高模型的准确率。在 AMI 会议语音识别语料库上的实验结果表明，该方法显著提高了模型的准确性，同时减小了模型参数规模与识别准确率之间的差距。

    Aug, 2016

  • 通过精细特征模仿提炼物体检测器

    本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

    Jun, 2019

  • 知识蒸馏中肾脏和肝脏肿瘤分割的中间层设计重新思考

    知识蒸馏在医学成像任务（如肾脏和肝脏肿瘤分割）中的应用面临挑战，为解决这些问题，我们提出了分层选择性反馈蒸馏（HLFD）方法，通过从中间层到较早层的蒸馏，以及将最终层的知识以特征和像素级别转移到中间层，实现模型从早期层学习更高质量的表示，从而生成一个稳健且紧凑的学生模型。大量的定量评估表明，HLFD 方法显著优于现有方法，在肾脏分割任务中，与无知识蒸馏的学生模型相比，HLFD 提升了 10 个百分点以上，显著改善了对肿瘤特定特征的关注。从质量上看，使用 HLFD 训练的学生模型能够抑制不相关信息，聚焦于肿瘤特定细节，为更高效准确的诊断工具开辟了新路径。

    Nov, 2023