本论文提出了一种信息理论框架用于知识转移，将知识转移视为最大化教师和学生网络之间的互信息，将该方法应用于不同架构的网络间的知识转移，证明了其性能远超现有方法。

Apr, 2019

本文提出了新型的知识蒸馏损失函数，其通过保留教师神经网络中相似输入的激活模式特征，指导学生神经网络的训练，使其在保留各自的表征空间中，能够准确地保持输入的相似度。实验结果表明了该方法的潜力。

Jul, 2019

通过使用教师网络的软输出作为向导进行学生网络的训练，知识蒸馏是模型压缩和知识转移的成功方法之一。本文通过分析一种宽神经网络的知识蒸馏，提出了一种称为数据效率的任务难度度量标准，并证明了在教师完美的情况下，教师软标签的高比例可以很有益处，并且在不完美的教师情况下，硬标签可以修正教师的错误预测，这解释了混合硬标签和软标签的实践。

Oct, 2020

本文提出了一种新的基于决策边界的知识蒸馏方法，利用对抗攻击的方式发现支持决策边界的样本来训练学生分类器以传递更加精确的信息，实验证明该方法提高了知识蒸馏的效果并达到了最先进的性能。

May, 2018

本研究探讨如何使用知识蒸馏从黑盒模型中训练神经网络进行视觉识别，使用混合和主动学习等方法，从而在节省计算和数据集成本的同时保持高性能。

Mar, 2020

在人工神经网络中，非可训练变量的激活动力学与可训练变量的学习动力学强烈耦合。研究表明通过两种映射的组合建立了非可训练边界变量的子空间（例如数据集）与可训练变量的切向子空间（即学习）之间的对偶映射，可以研究临界性的出现以及可训练变量波动的幂律分布的特性。

May, 2024

在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

Oct, 2022

本文提出了一种新颖的知识迁移方法，将其视为分布匹配问题，通过匹配教师和学生网络之间的神经元选择模式的分布，设计了一种新的知识迁移损失函数来最小化最大平均差异（MMD）值，通过与原始损失函数结合使用，有效提高了学生网络的性能，并在多个数据集上验证了方法的有效性。

Jul, 2017

本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

Sep, 2022

本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

May, 2022