本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

本文提出一种利用基于注意力的元网络来实现特征蒸馏的方法，该方法在不手动选择链接的情况下有效地控制了所有可能的特征对的蒸馏强度，从而提供了更好的模型压缩和迁移学习任务的性能。

Feb, 2021

本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

Feb, 2021

本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

May, 2022

利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。

Nov, 2020

FEED 是一种有效的知识蒸馏（knowledge distillation）方法，旨在通过特征映射级别的集成学习，将多个教师网络的知识传递给学生网络，提高其泛化能力，同时在测试时不引入额外的参数或计算。

Sep, 2019

我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。

Mar, 2024

本文提出了一种基于图的蒸馏框架，将来自多个自监督任务的知识进行传递和压缩，以提高视频表示的学习效果和模型推理速度。

Apr, 2018

研究了应用基于中心核对齐的特征结构蒸馏方法来有效转移三种类型的表示结构以提高 GLUE 数据集上 Bidirectional Encoder Representations from Transformers (BERT) 任务的表现，结果表明所提出的方法可以提高性能。

Apr, 2022

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018