Lion：闭源大型语言模型对抗蒸馏

May, 2023

Lion: Adversarial Distillation of Closed-Source Large Language Model

Yuxin Jiang, Chunkit Chan, Mingyang Chen, Wei Wang

TL;DR该研究提出了一种新的对抗蒸馏框架，通过在知识传输过程中使用反馈循环来提高学生模型的性能，成功地从 ChatGPT 模型向 Lion 模型进行知识传输，从而建立开源指令跟随语言模型的基线。

Abstract

The practice of transferring knowledge from a sophisticated, closed-source large language model (LLM) to a compact, open-source LLM has garnered considerable attention. Previous works have focused on a unidirectional knowledge distillation way by aligning the responses of the student model with those of the teacher model to a set of instructions. Nevertheles

knowledge transfer large language models adversarial distillation performance improvement open-source baseline

发现论文，激发创造

大型语言模型的对抗性矩匹配蒸馏

通过匹配教师行为的行动 - 价值矩关系，我们提出了一种对大型语言模型进行知识蒸馏的模仿学习策略，使用对抗训练算法来同时估计行动 - 价值矩距离并优化学生模型的政策，以此最小化距离，并在任务无关和任务特定实验中取得了新的最优性能。

Jun, 2024

个性化蒸馏：为代码生成赋能开源 LLMs 的自适应学习

通过个性化蒸馏的方式，我们在代码生成方面取得了显著的进展，仅使用 1/3 的数据就能提升性能，并且通过 2.5-3K 的个性化示例，带来 4-6 美元的数据收集成本，使 CodeGen-mono-16B 模型 pass@1 达到 36.4％，StarCoder 模型 pass@1 达到 45.8％。

Oct, 2023

大型语言模型的知识蒸馏调查

知识蒸馏（KD）机制在大型语言模型（LLM）中起着关键作用，将专有的 GPT-4 等模型的先进功能和细腻理解传输到像 LLaMA 和 Mistral 这样的开源模型。此次调查详细讨论了 KD 机制、特定认知能力增强以及其在不同领域的实际应用，展示了数据增广（DA）和 KD 之间的相互关系，旨在弥合专有和开源 LLM 之间的差距，促进更具可访问性、高效性和可持续性的人工智能解决方案。

Feb, 2024

大型语言模型的知识蒸馏

本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

Jun, 2023

ELAD：解释引导的大型语言模型主动蒸馏

通过 Explanation-Guided LLMs Active Distillation (ELAD) 框架，我们引入了一种主动学习策略，以优化注释成本与模型性能之间的平衡；通过利用解释步骤中的不确定性，我们改进了高效样本选择方法；此外，我们还提出了一种定制化的 LLMM - 注释解释修订技术，以检测和修正学生模型推理中的缺陷。我们在各种推理数据集上的实验证明，我们的框架显著提高了 LLMM 知识蒸馏的效率。

Feb, 2024

封闭源语言模型的知识蒸馏

在这篇论文中，我们提出了一种基于贝叶斯估计框架的方法，通过估计闭源语言模型的输出分布来执行传统的知识蒸馏，实验结果表明我们的方法超过了直接在闭源语言模型生成数据上微调的当前模型的性能。

Jan, 2024

LLM 教育中的知识蒸馏

本研究提出了一种方法，将大型语言模型（LLMs）的知识提炼为一个更小、更高效且准确的神经网络，以实现在资源受限设备上部署这些模型的挑战。我们的方法包括使用 LLM 的预测概率训练较小的学生模型，作为教师模型，通过专门设计的损失函数来学习 LLM 的输出概率，确保学生模型能够准确模仿教师模型的性能。通过对包括 6,684 个学生撰写的科学问题回答及其他数据集的测试，我们将性能与原始神经网络（NN）模型进行了比较，结果显示对于 7T 数据集，NN 模型和提炼的学生模型的准确率与教师模型相当；然而，其他数据集显示 NN 模型的准确率显著较低（平均 28%），然而我们的提炼模型仍然能够比 NN 模型获得更高 12% 的准确率。此外，学生模型的参数大小为 0.1M 至 0.02M，相较于原始输出模型大小减小了 100 倍和 10 倍。该研究的重要性在于其为自动评分在典型教育环境中的运用提供了潜力。

Dec, 2023

TinyLLM: 从多个大型语言模型中学习一个小型学生

通过知识蒸馏，从多个大型教师语言模型中学习小型学生语言模型 TinyLLM，以解决当前方法存在的知识多样性有限和缺乏丰富的上下文信息等问题，并通过引入上下文示例生成器和 teacher-forcing 链式推理策略来确保合理的推理基于适当情境，从而在两个推理任务的六个数据集上的广泛实验中展示了 TinyLLM 方法的优越性，结果表明尽管模型尺寸较小，但 TinyLLM 可显著优于大型教师语言模型。

Feb, 2024

民主化推理能力：从大型语言模型的个性化学习

通过多轮互动学习范式和自我反思学习，我们提出了一种定制化学习方法，从而将推理能力传授给较小的语言模型，以促进推理能力的开放和普及。

Oct, 2023

小数据场景中高效自然语言理解的生成 - 蒸馏方法

通过 generation-distillation 训练方法，利用大型 fine-tuned 语言模型生成无标签训练数据，通过知识蒸馏技术将这些数据的知识转移给小型网络，从而缩小了预先训练 LM 和小型特定任务模型之间的性能差距，实现了使用更少的参数（仅为 BERT 的 300 倍）达到与 BERT 可比的性能。

Jan, 2020