本文探讨通过知识蒸馏将大型语言模型的推理能力迁移至小于1000亿参数的模型，实现任务的表现提升，对算术、常识和符号推理数据集效果显著，例如在PaLM-540B生成的思考链上进行微调后，T5 XXL在GSM8K的准确率从8.11％提高至21.99％。

Dec, 2022

揭示了将大规模语言模型进行特化，使其在特定任务上具有相对较强的表现的可能性，并使用多步数学推理作为测试，通过设计优化措施来提高其广义性能。

Jan, 2023

提出了知识增强推理提炼（KARD）这一新颖的方法，以从外部知识库检索的增强知识fine-tune小型LM，来生成 rationale，并且进一步提出了神经重新排序器以获取与理性产生相关的文档。该方法在知识密集型推理数据集上显著提高了小型T5和Flan-T5模型的性能。

May, 2023

本文提出了一种名为MiniLLM的方法，该方法利用Kullback-Leibler散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了MiniLLM模型的性能表现更佳。

Jun, 2023

通过多轮互动学习范式和自我反思学习，我们提出了一种定制化学习方法，从而将推理能力传授给较小的语言模型，以促进推理能力的开放和普及。

Oct, 2023

本研究提出了一种方法，将大型语言模型（LLMs）的知识提炼为一个更小、更高效且准确的神经网络，以实现在资源受限设备上部署这些模型的挑战。我们的方法包括使用LLM的预测概率训练较小的学生模型，作为教师模型，通过专门设计的损失函数来学习LLM的输出概率，确保学生模型能够准确模仿教师模型的性能。通过对包括6,684个学生撰写的科学问题回答及其他数据集的测试，我们将性能与原始神经网络（NN）模型进行了比较，结果显示对于7T数据集，NN模型和提炼的学生模型的准确率与教师模型相当；然而，其他数据集显示NN模型的准确率显著较低（平均28%），然而我们的提炼模型仍然能够比NN模型获得更高12%的准确率。此外，学生模型的参数大小为0.1M至0.02M，相较于原始输出模型大小减小了100倍和10倍。该研究的重要性在于其为自动评分在典型教育环境中的运用提供了潜力。

Dec, 2023

本研究解决了小型语言模型在实际应用中面临的性能提升问题。我们提出了一种简单有效的知识蒸馏方法，通过分析教师模型的重要令牌，帮助学生模型更好地学习，从而显著提高了小型模型的性能，尤其在含有标签的多项选择题数据集上，68%的情况下提取的令牌是答案的组成部分。

Sep, 2024

本研究解决了现有多步推理知识蒸馏方法中数据质量和软标签提供不足的问题。提出的导师知识蒸馏方法利用中间规模的任务特定微调模型，增强了链式思维注释并为学生模型提供软标签，从而有效提升小型语言模型的推理能力。实验结果显示，Mentor-KD 在多种模型和复杂推理任务中均表现出色。

Oct, 2024

本研究解决了预训练语言模型知识蒸馏中的效率、灵活性和有效性问题。通过MiniPLM框架，采用离线教师模型推理，优化了训练数据分布，提高了学生模型的知识获取能力。实验表明，MiniPLM在多个下游任务上显著提升了学生模型的性能，提高了语言建模能力，并降低了预训练计算需求。

Oct, 2024

本研究解决了预训练语言模型(KD)过程中效率、灵活性和有效性的问题。我们提出了MiniPLM框架，通过优化教师模型的知识提高训练数据的分布，以实现高效的离线推理和跨模型家族的知识蒸馏，并增强小模型的能力与知识多样性。实验表明，MiniPLM显著提升了学生模型在多个下游任务上的表现，同时减少了预训练计算量。

Oct, 2024