代际知识蒸馏：更具宽容性的教师教育更好的学生

May, 2018

代际知识蒸馏：更具宽容性的教师教育更好的学生

Knowledge Distillation in Generations: More Tolerant Teachers Educate Better Students

Chenglin Yang, Lingxi Xie, Siyuan Qiao, Alan Yuille

TL;DR本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在 CIFAR100 和 ILSVRC2012 等数据集的图像分类任务中取得更高的分类准确率。

Abstract

We focus on the problem of training a deep neural network in generations. The flowchart is that, in order to optimize the target network (student), another network (teacher) with the same architecture is first trained, and used to provide part of supervision signals in the next stage.

deep neural network teacher-student optimization strictness control supervision signal image classification

发现论文，激发创造

针对知识蒸馏的学生友好型教师网络学习

本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

Feb, 2021

多教师助理指导的密集知识蒸馏

本文提出一种基于多个 teacher assistant 的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合 teacher 和 student 之间的巨大差距，实现了对 student 的更高效学习，并在 CIFAR-10、CIFAR-100 和 ImageNet 上的多个 backbone 架构中取得了显著的性能提升。

Sep, 2020

SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

Jun, 2022

教辅辅助下的知识蒸馏改进

本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

Feb, 2019

知识流：超越你的教师

通过知识流的方式将多个深度网络（教师）的知识传递给新的深度网络模型（学生），解决了在新任务中选择哪个网络或为微调新模型选择哪个网络的初始化的问题，并在监督和强化学习任务中提供比微调和其他知识交流方法更好的表现。

Apr, 2019

神经网络比人类评分者更具生产力：活跃混合用于从黑盒模型中进行数据效率知识蒸馏

本研究探讨如何使用知识蒸馏从黑盒模型中训练神经网络进行视觉识别，使用混合和主动学习等方法，从而在节省计算和数据集成本的同时保持高性能。

Mar, 2020

快照蒸馏：一代中的教师 - 学生优化

本研究提出了快照蒸馏 (SD) 框架，它将深度神经网络的教师 - 学生优化方法应用于一个生成周期内，通过循环学习率策略以及利用同一周期内早期时期的信息提取，避免了时间复杂度的增大，同时在 CIFAR100 和 ILSVRC2012 等基准测试中获得了准确性的一致提升。

Dec, 2018

宽神经网络中的知识蒸馏：风险界限、数据效率和有误导的教师

通过使用教师网络的软输出作为向导进行学生网络的训练，知识蒸馏是模型压缩和知识转移的成功方法之一。本文通过分析一种宽神经网络的知识蒸馏，提出了一种称为数据效率的任务难度度量标准，并证明了在教师完美的情况下，教师软标签的高比例可以很有益处，并且在不完美的教师情况下，硬标签可以修正教师的错误预测，这解释了混合硬标签和软标签的实践。

Oct, 2020

强化多教师选择的知识蒸馏

本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

Dec, 2020

FitNets: 纤细深度神经网络的提示

本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Dec, 2014