使用创新的 $L_{skip}$ 重新整合选择性采样阶段中省略的信息的一种新的训练方法 S$^{2}$-DMs 能够显著提高样本质量，并且实施简单，需要最少的代码修改，并且足够灵活以与各种抽样算法兼容。

Jan, 2024

通过引入 DMD2 技术，将 Distribution Matching Distillation 应用于一步图像生成，通过 GAN loss 以及多步采样等技巧的改进，在降低推理成本的情况下，取得了在图像生成任务中新的最优结果。

May, 2024

通过训练一个语言模型生成信息丰富的合成训练样本作为文本数据，我们提出了一种新颖的文本数据集精炼方法，称为 Distilling dataset into Language Model (DiLM)。我们在各种文本分类数据集上评估了 DiLM，并展示了从 DiLM 中获得的合成数据集胜过当前核心集选择方法的结果。DiLM 在训练不同类型的模型和大型语言模型的上下文学习中取得了显著的泛化性能。

Mar, 2024

提出从大规模多语言 Transformer 中提取压缩的、语言特定的模型的方法，通过二阶段稀疏精调生成双语模型，从而在目标语言性能方面表现出最小的降级而且速度更快。

Jun, 2023

提出了一种基于单次折叠蒸馏算法的教师 - 学生蒸馏方法，可以在保持高质量合成图像的情况下加速推断并压缩扩散模型，实现语义一致性和有意义的图像插值。

May, 2024

本研究聚焦于多语言实体识别，探究知识蒸馏压缩预训练语言模型的多种策略，通过利用教师模型内部表示的分阶段优化方案，成功将 MBERT 模型压缩了 35 倍参数，51 倍批量推理的延迟，同时保持在 41 种语言中的 95％的 F1 分数。

Apr, 2020

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

使用 Translate-Distill 框架进行跨语言信息检索 (CLIR) 已经显示出其通过翻译和塑造训练跨语言神经双重编码器模型的好处。然而，Translate-Distill 仅支持单一语言。本研究扩展 Translate-Distill 并提出了用于多语言信息检索 (MLIR) 的多语言 Translate-Distill (MTD) 方法。我们通过 nDCG@20 指标和 MAP 指标在性能上展示了使用 MTD 培训的 ColBERT-X 模型优于以前的最先进训练方法 Multilingual Translate-Train，其在 nDCG@20 上提高了 5% 到 25%，在 MAP 上提高了 15% 到 45%。我们还展示了该模型对于训练批次中语言混合方式的鲁棒性。我们的实现可在 GitHub 上找到。

May, 2024

本文提出一种基于多教师知识蒸馏 (MTKD) 的文本图像机器翻译 (TIMT) 方法，将管道模型的知识有效地转移至端到端 TIMT 模型中，包括图像编码器、序列编码器和解码器的知识引导优化，并采用令牌和句子级别知识蒸馏相结合来提高翻译性能。实验结果表明，相比于现有的管道和端到端模型，MTKD 可以更有效地改进文本图像翻译性能，具有更少的参数和更少的解码时间。

May, 2023

本文介绍了在神经机器翻译中应用知识蒸馏技术，包括传统的单词级别预测和两种新的序列级知识蒸馏模型。在现有最优模型的基础上，我们的学生模型在运行速度增加的同时，表现损失不大。此外，通过权重剪枝，还极大地减小了模型的参数数量。

Jun, 2016