本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。
Jun, 2019
本篇文章探讨了如何利用预先训练好的深度网络来训练一个个性化的学生网络，以解决用户选择的任务，文章提出了一种双步骤策略，其中第一步从具有相同子任务的异构教师中提取任务特定知识，然后将提取的知识混合，来构建学生网络，以自我的方式从带有最小预测模糊性的教师那里学习，实验结果表明基于此种自适应知识归纳的学生网络的性能甚至优于教师。
Aug, 2019
本论文提出一种新的深度学习模型重用任务，利用预训练的教师模型在不需要人工标注的情况下训练一个轻量级和通用的学生模型，通过将合并特征投影到每个教师的领域并计算损失来学习学生模型。该方案在多项基准测试中实现了非常鼓舞人心的结果，甚至超过了教师模型在其自己的专业领域中的表现。
Apr, 2019
通过多源异构教师模型的知识融合过程，学生网络可以在不需要注释的情况下学习以前任务的专业知识，从而在后续的单一头学生网络中处理 “灾难性遗忘” 问题。
Sep, 2022
该论文提出了一种基于预训练卷积神经网络的教师 - 学生学习方法，通过多个教师的知识筛选和层次式训练策略，将目标学生网络定制到不同任务，从而在多项基准测试中实现了优异结果。
May, 2019
知识融合旨在学习一个紧凑的学生模型，以处理多个针对各自任务的教师模型的联合目标。我们提出了一种新颖的对比知识融合（CKA）框架，通过引入对比损失和对齐损失来实现类内凝聚和类间分离，以使学生能够学习多个异构教师自任务的适当决策边界。
Jul, 2023
本文探讨了基于 Transformer 的物体检测模型用于知识汇集的更有效的方案，提出了序列级别和任务级别两个方面的知识汇集，其中利用教师序列拼接生成提示进行序列级别的知识汇集，而利用软目标进行任务级别的知识汇集，实现了快速学习多样化检测任务并达到或超越教师的性能。
Mar, 2022
本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。
Mar, 2020
该论文提出了一种轻量级的学生网络，通过多个预训练模型进行知识传递，以在无法访问原始训练数据的情况下训练一个高效的学生模型。使用提出的 STRATANET 建模框架，该方法在不同的文本分类数据集上得到了显著优于其他基准方法的结果，同时满足数据驱动和无数据约束。
Jun, 2024
使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。