深度神经网络的无数据知识蒸馏
本文介绍了一种组合使用低精度计算和蒸馏知识来提高深度学习网络性能的方法，该方法取得了 ImageNet 数据集上 ResNet 架构各种变体的三元精度和 4 位精度的准确率的最新成果，并提供了三种应用蒸馏知识技术到训练和部署流程中的方案。
Nov, 2017
本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明
Nov, 2018
本文提出了零数据知识迁移的方法，通过自动生成Data Impressions从而实现了基于Teacher模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。
May, 2019
本文介绍一种用于少样本知识蒸馏的双阶段方法，该方法仅使用了少量无标注样本，能够有效降低深度神经网络的模型复杂度和大小，实现了与传统方法相当的性能表现。
Dec, 2020
提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。
Dec, 2020
本研究提出了一个基于多元正态分布的数据自由知识蒸馏方法，该方法从过度参数化神经网络中模拟中间特征空间并利用软目标标签生成伪样本以作为转换集。使用这些合成的转移集训练多个学生网络，表现出与使用原始训练集和其他无数据知识蒸馏方法训练的网络相当的竞争性能。
Apr, 2021
本论文提出了一种基于知识蒸馏的数据无需模型压缩框架，通过维护一个动态的生成样本集合并添加实际数据分布的限制，解决了现有数据无需压缩方法中可能存在的灾难性遗忘问题和人工数据分布不匹配问题。在SVHN、Fashion MNIST和CIFAR100数据集上与最先进的方法相比，表明可以提高通过知识蒸馏获得的学生模型的精度。
Aug, 2021