ECCVSep, 2021

剪枝模型优于压缩之后再蒸馏

PDF
TL;DR本文提出了一种新的 “剪枝再蒸馏” 的框架，该框架在知识蒸馏中先对模型进行了剪枝以使其更易于转移，并且理论证明了剪枝后的教师模型在知识蒸馏中扮演了正则化器的作用，并减少了泛化误差。最后，我们提出了一种新的神经网络压缩方案，其中的学生网络是基于剪枝后的教师网络构建，然后采用 “剪枝再蒸馏” 的策略进行蒸馏。
knowledge distillationprune then distillneural network compressionteacher-student modelregularizer
发现论文，激发创造
  • 针对知识蒸馏的学生友好型教师网络学习

    本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

    Feb, 2021

  • 数据剪枝中的知识提取

    通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

    Mar, 2024

  • 强化多教师选择的知识蒸馏

    本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

    Dec, 2020

  • 寻找更好的学生学习精炼知识

    本文提出使用 L1 范数优化从教师网络选取子图作为学生来自动搜索最优学生架构进行知识蒸馏，并在 CIFAR 数据集上验证，实验表明相比手动指定学生结构，学习得到的学生模型性能更好，并且对该学生模型进行可视化和理解。

    Jan, 2020

  • PrUE: 从稀疏教师网络中提炼知识

    提出一种称为预测不确定性增大（PrUE）的剪枝方法，通过减弱教师网络的确定性，生成学生网络所需的软性预测，从而提高学生网络性能。在 CIFAR-10/100，Tiny-ImageNet 和 ImageNet 上进行的实验证明，使用稀疏的教师网络训练学生网络可以达到更好的性能，并且该方法允许研究者从更深层的网络中提取知识以进一步提高学生性能。

    Jul, 2022

  • EPSD: 早期剪枝与自蒸馏用于高效模型压缩

    提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。

    Jan, 2024

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 重复使用教师分类器的知识蒸馏

    使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。

    Mar, 2022

  • 跟随自己的道路：一种渐进式的知识蒸馏方法

    本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

    Jul, 2021

  • 少样本知识蒸馏用于高效网络压缩

    本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

    Dec, 2018