提出了一种无需训练集的知识蒸馏方法，仅利用预训练模型释放的一些额外元数据，就能将大规模数据集上训练的深度神经网络压缩到其大小的一小部分，并探索了可用于该方法的不同类型的元数据以及使用它们所涉及的权衡。

Oct, 2017

本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

Nov, 2018

通过软标签同时提取图像和标签以减少数据集的大小，拓展算法至可用于文本数据，对于多个数据集和分类任务提高了2-4%的准确率。

Oct, 2019

本研究展示了教师-学生模型压缩的有效性，通过将已经学习的大型深度自监督模型压缩到较小的模型，使得学生模型具有和教师模型相似的数据点嵌入空间，最终在ImageNet分类任务上获得了比监督学习方法更优秀的结果。

Oct, 2020

提出一种基于数据集精简的算法，通过共享数据集的压缩表示生成训练样本以迅速重新训练神经网络，进而实现数据集的总体压缩和连续学习。

Jun, 2022

该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

May, 2023

通过利用多个自监督模型的优势，压缩预训练模型，并在分类任务和密集任务中显著提高性能。

Dec, 2023

神经网络在从特定任务的数据集中进行训练时学到了什么？数据集精炼是合成这种知识的中心思想，我们提出了分布式数据集精炼（D3）方法，使用最小的充分类别统计信息，与解码器一起使数据集转化为一种更节省内存的分布式表示方法。通过对数据集进行分割、并行使用子任务专家进行精炼然后重新聚合的方式，我们提出了联邦精炼方法，以扩大学习这些表示的过程。我们对其进行全面评估，并在TinyImageNet和ImageNet-1K数据集上展示了其在三维度度量上达到了最先进结果。特别地，在每类存储预算为2张图片的情况下，我们在ImageNet-1K数据集上的结果优于先前的方法6.9%。

Mar, 2024

本研究解决了数据集蒸馏（DD）理论支持不足的问题，提出了一种正式的DD模型，强调了在个别应用中针对特定推断任务的优化问题的必要性。通过系统分析现有DD方法的优缺点，我们展示了DD在医学数据分析与物理信息神经网络等领域的新应用，可能对新技术的发展产生深远影响。

Sep, 2024

该研究解决了自监督预训练中缺乏有效数据集蒸馏的方法问题。研究者提出了一种新颖的方法，通过知识蒸馏的视角来训练学生模型，以匹配教师模型的表示，从而生成小型合成数据集。实验结果表明，该方法的合成数据集在下游任务上的准确率提高了最多13%。

Oct, 2024