本研究提出了一种名为知识聚合的新型模型复用任务，旨在从多个训练好的教师网络中提取知识，学习一种能够处理综合分类的轻量级学生模型，取得了很好的结果。

Nov, 2018

本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。

Jun, 2019

本篇文章探讨了如何利用预先训练好的深度网络来训练一个个性化的学生网络，以解决用户选择的任务，文章提出了一种双步骤策略，其中第一步从具有相同子任务的异构教师中提取任务特定知识，然后将提取的知识混合，来构建学生网络，以自我的方式从带有最小预测模糊性的教师那里学习，实验结果表明基于此种自适应知识归纳的学生网络的性能甚至优于教师。

Aug, 2019

本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。

Mar, 2020

该论文提出了一种轻量级的学生网络，通过多个预训练模型进行知识传递，以在无法访问原始训练数据的情况下训练一个高效的学生模型。使用提出的 STRATANET 建模框架，该方法在不同的文本分类数据集上得到了显著优于其他基准方法的结果，同时满足数据驱动和无数据约束。

Jun, 2024

本文探讨了基于 Transformer 的物体检测模型用于知识汇集的更有效的方案，提出了序列级别和任务级别两个方面的知识汇集，其中利用教师序列拼接生成提示进行序列级别的知识汇集，而利用软目标进行任务级别的知识汇集，实现了快速学习多样化检测任务并达到或超越教师的性能。

Mar, 2022

知识融合旨在学习一个紧凑的学生模型，以处理多个针对各自任务的教师模型的联合目标。我们提出了一种新颖的对比知识融合（CKA）框架，通过引入对比损失和对齐损失来实现类内凝聚和类间分离，以使学生能够学习多个异构教师自任务的适当决策边界。

Jul, 2023

该论文提出了一种基于预训练卷积神经网络的教师 - 学生学习方法，通过多个教师的知识筛选和层次式训练策略，将目标学生网络定制到不同任务，从而在多项基准测试中实现了优异结果。

May, 2019

通过多源异构教师模型的知识融合过程，学生网络可以在不需要注释的情况下学习以前任务的专业知识，从而在后续的单一头学生网络中处理 “灾难性遗忘” 问题。

Sep, 2022

本文提出一种基于零、一阶知识的细分神经网络迁移学习教师 - 学生框架，将拥有更好表现的重型细分网络的知识转移到轻型细分网络上，提高了轻型网络的细分准确性，仍然保持快速特性，并经数据实验验证该框架可以显著提升学生网络性能。

Oct, 2018