将大型潜在扩散模型（LDMs）提炼为快速采样模型是一个备受关注的研究领域，本文通过扩展最新的多步一致性提炼（MCD）策略，建立了用于低成本高质量图像合成的多步潜在一致性模型（MLCM）。MLCM 通过与强调联合段一致性的渐进训练策略相结合，能够提高少步骤生成的质量。实验结果表明，MLCM 仅需 2-8 个采样步骤即可产生高质量、令人愉悦的图像，比 4 步骤的 LCM、8 步骤的 SDXL-Lightning 和 8 步骤的 HyperSD 显著优越；此外，MLCM 还在可控生成、图像风格转移和中文到图像生成等方面展示了其多功能性。

Jun, 2024

本文提出了一种 Data-Agnostic Consolidation (DAC) 双知识蒸馏方法，通过新的投影潜在蒸馏损失函数在潜在空间中蒸馏模型，从而在单个设备上实现了零成本的前向传递，进而在分布式持续学习情境中实现流模型的知识整合和转移，最终在各类数据集中达到了最先进的效果。

Mar, 2023

我们提出了一种有效的动态纠正自蒸馏方法来改善预训练语言模型的微调过程，通过迭代的自我纠正过程显著增强了预训练语言模型的微调能力，并在各种下游任务中提高了性能和鲁棒性。

Dec, 2023

本文介绍了一种基于自适应学习的自我学习知识蒸馏方法， Learning From Multiple Experts (LFME)， 可以从多个不平衡子集训练的专家模型中联合学习一个统一的学生模型，以应对长尾分布数据对深度学习的训练造成的困难，并通过实验证明了其在长尾分类任务中的卓越性能。

Jan, 2020

本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

Sep, 2021

通过增加 Trajectory Consistency Distillation（TCD）的一组函数和策略性的随机采样的设计，可以显著提高图像生成质量，同时减少由多步一致性采样中积累的误差所致的细节不足，并且在较高的 NFEs 下相较于教师模型更加详细。

Feb, 2024

本文提出了一种名为平行自蒸馏 (PSD) 的多标签图像分类框架，它通过将原任务分解为多个子任务，并运用知识蒸馏来学习全局集成的类别，以此来提高 MLIC 模型的性能。在 MS-COCO 和 NUS-WIDE 数据集上进行的实验结果表明，我们的方法能够显着提高现有最先进方法的性能，并能够学习到既有类别特定的特征，又有共现特征。

May, 2022

本文提出了一种新的方法来解决训练数据分布为长尾分布，同时测试数据分布为未知分布的实用问题，该方法是通过利用自监督来聚合多个从单个长尾数据集中训练出来的技能不同的专家，并理论上证明了该自监督策略具有模拟无关测试类分布的能力。

Jul, 2021

使用监督对比损失（SCL）方法进行视觉表示学习，在长尾识别场景下，通过解耦 SCL 的训练目标和使用基于图像补丁的自我蒸馏来优化性能，实验证明该方法在长尾分类基准上具有卓越的准确率，并与集合方法相结合进一步提高性能。

Mar, 2024

通过 Multi-CoT 一致知识蒸馏 (MCC-KD) 方法，我们提出了一种提升大型语言模型的推理能力、实现多样性和一致性的方法，并验证其在数学推理和常识推理的基准测试中的优秀性能和鲁棒泛化能力。

Oct, 2023