提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。
Oct, 2020
本文介绍了一种基于因果关系自动生成历史事件解释的机器学习系统，通过历史事件分解的方式，目标是尽可能少地从观察到的历史中提取事件，并通过条件概率预测未来，实验结果证明该系统在揭示真实世界过程的基础上明显优于其他基准模型。
Nov, 2023
提出了一种新的 DFKD 框架，即 DFKD-T^3，该框架将预训练的生成语言模型作为可控数据生成器用于模型压缩，实现了端到端可学习的文本转换框架，通过改善特异性和多样性提高了蒸馏性能，并在情感分析、语言可接受性和信息提取等各种下游任务中展示出卓越的性能，此外，生成的文本可直接用于蒸馏其他语言模型，超过了 SOTA 方法，在一般的 DFKD 场景中更具吸引力。
本文介绍了一种将多个模型组成的模型集合体及其概率输出 match 到参考状态和使用模型集合体探索搜索空间，通过实验表明，这种蒸馏（distillation）方式可以有效提高模型性能，比之前的模型都表现良好。
May, 2018
本文提出一种基于深度学习模型自身的软目标概率的自我知识蒸馏方法，在两种基本的 NLP 任务（语言模型和神经机器翻译）上部署实验，并表明了该方法的性能提高。
Aug, 2019
本研究通过提出一种简单的蒸馏方法，证明了在图像超分辨率和语音合成领域，可以将基于流的模型提炼为更高效的替代模型。
Jun, 2021
该研究提出 PromptDFD，一种基于提示的数据无关知识蒸馏法，利用一个预训练的生成模型提供语言先验知识，进一步提高数据合成的质量，并在蒸馏性能上取得了显著的改进。
May, 2022
本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。
Feb, 2023
我们提出了一种基于任务驱动的因果特征蒸馏（TDCFD）模型，将原始特征值转化为特定风险预测任务的因果特征归因，通过因果特征蒸馏和深度神经网络的结合，可产生具有因果解释力、高精确度 / 召回率以及可靠性的预测结果。
Dec, 2023
基于差分隐私的数据增强方法提供了隐私保护和文本分类在私有领域的测验。
Feb, 2024