提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

Mar, 2020

本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

Feb, 2019

本论文提出了一种基于离散小波变换的知识蒸馏方法，用于提高小型生成对抗网络在高频信息生成方面的性能，在保证性能无明显下降的情况下，可将模型体积缩小 7.08 倍、加速 6.80 倍，并研究了鉴别器和生成器之间的关系。

Mar, 2022

本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

May, 2022

提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

Dec, 2020

本文提出了一种新的语言表示学习的知识蒸馏方法，通过单词关系和层变换关系传递上下文知识，无需限制教师和学生的架构变化，验证了该方法在语言理解任务的各种架构和 DynaBERT 等自适应尺寸剪枝方法的挑战性基准上的有效性。

Sep, 2021

我们提出了一种用于高效生物医学实例分割的图关系蒸馏方法，考虑了实例级特征、实例关系和像素边界这三种关键知识类型。我们引入了两种图蒸馏方案：实例图蒸馏（IGD）和亲和图蒸馏（AGD），通过保持实例图和像素亲和力的一致性来传递实例特征、实例关系和边界相关的知识。实验证明了我们方法的有效性，使得学生模型的参数少于 1% 且推理时间少于 10%，同时相较于教师模型具有有希望的性能。

Jan, 2024

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的表达能力，且该策略不仅模型无关，而且可以与其他 KGE 模型无缝结合。在四个标准数据集上进行了实验验证，证明了该自我蒸馏策略的有效性和稳定性。

Jun, 2022

本文提出 VL distillation，使用知识蒸馏方法将基于 transformer 的大型 VL 模型压缩成小型 VL 模型，以提高图像字幕生成和视觉问答任务中的性能。

Apr, 2021