本文提出了一种新颖的知识迁移方法，将其视为分布匹配问题，通过匹配教师和学生网络之间的神经元选择模式的分布，设计了一种新的知识迁移损失函数来最小化最大平均差异（MMD）值，通过与原始损失函数结合使用，有效提高了学生网络的性能，并在多个数据集上验证了方法的有效性。
Jul, 2017
该论文综合系统地回顾了知识追踪 (KT) 领域的文献，涵盖了从早期尝试到使用深度学习的最新现状，强调了模型的理论方面和基准数据集的特征，阐明了相关方法之间的关键建模差异，并以易于理解的格式总结了它们。最后，我们讨论了 KT 文献中的当前研究差距和可能的未来研究和应用方向。
Jan, 2022
本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。
在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。
Oct, 2022
我们提出了一个名为 Q-MCKT 的基于问题中心的多专家对比学习框架，用于知识追踪，以解决应用深度学习技术建模知识追踪过程时面临的挑战。
Mar, 2024
本文提出了一种新的基于图的知识迁移方法，其中引入了知识迁移图和四个门函数来控制梯度，以实现更加灵活和多样化的迁移方式。实验结果表明，该方法在 CIFAR-10、-100 和 Tiny-ImageNet 数据集上实现了显著的性能改进，并能够发现出色的图结构。
Sep, 2019
本研究分析了大规模学生表现数据集中深度学习方法在知识追踪中的表现，证明了引入上下文信息及学生遗忘行为的对深度学习模型进行改进具有积极意义。
Jan, 2021
本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。
Jul, 2021
本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。
Oct, 2018
本论文提出了一种信息理论框架用于知识转移，将知识转移视为最大化教师和学生网络之间的互信息，将该方法应用于不同架构的网络间的知识转移，证明了其性能远超现有方法。
Apr, 2019