对大型语言模型的知识蒸馏中库尔巴克 - 莱布勒散度的重新思考

Apr, 2024

对大型语言模型的知识蒸馏中库尔巴克 - 莱布勒散度的重新思考

Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models

Taiqiang Wu, Chaofan Tao, Jiahao Wang, Zhe Zhao, Ngai Wong

TL;DR通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

Abstract

kullback-leiber divergence has been widely used in knowledge distillation (KD) to compress large language models (LLMs). Contrary to prior

kullback-leiber divergence knowledge distillation large language models forward kullback-leibler divergence adaptive kullback-leiber divergence

发现论文，激发创造

大型语言模型的知识蒸馏

本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

Jun, 2023

基于逆 KL 散度的知识蒸馏方法：在大型语言模型中消除个人信息

透过 RKLD 算法，我们在实验中达到了显著的遗忘质量并有效地维护了模型的实用性。

Jun, 2024

大型语言模型的直接偏好知识蒸馏

在大型语言模型领域，我们提出了 Direct Preference Knowledge Distillation (DPKD) 方法，通过利用分布差异来表示偏好损失和隐式奖励函数，将语言模型知识蒸馏分为两个阶段，并通过实验证明了其广泛适用性和有效性。同时，我们通过实验和理论分析证明了引入的隐式奖励和输出偏好在知识蒸馏中的价值和效果，DPKD 方法在输出响应精度和完全匹配百分比上优于基准方法。

Jun, 2024

解耦的 Kullback-Leibler 散度损失

通过改善 Doupled Kullback-Leibler Divergence 损失函数的对称性和引入全局信息进行一致性正则化，我们提出了更好的 IKL Divergence 损失函数，成功地实现了对抗训练和知识蒸馏任务的最新性能，具有重要的实用价值。

May, 2023

DistiLLM：面向大型语言模型的精简蒸馏

DistiLLM 是一种更有效和高效的知识蒸馏框架，适用于自回归语言模型，通过引入倾斜的 Kullback-Leibler 散度损失和自适应的离策略方法，构建高性能的学生模型，并相较于最近的知识蒸馏方法获得最高 4.3 倍的加速比。

Feb, 2024

Sinkhorn 距离最小化的知识蒸馏

通过 Sinkhorn 知识蒸馏方法，克服了传统教师 - 学生模式中 Kullback-Leibler 散度的模型坍缩、反 Kullback-Leibler 散度的模型平均以及 Jensen-Shannon 散度的模型低估等问题，有效地压缩大型语言模型并在多样的自然语言处理任务中取得了优越性能。

Feb, 2024

使用相关距离和网络修剪强化的鲁棒性知识蒸馏

我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

Nov, 2023

知识蒸馏中的 Kullback-Leibler Divergence 和 Mean Squared Error Loss 的比较

研究知识蒸馏的目标函数 KL 散度损失在温度参数变大时侧重于 logit 匹配，而在温度参数趋近于 0 时侧重于标签匹配，提出使用均方误差作为损失函数，学生模型直接学习老师模型的 logit 向量。该方法优于 KL 散度损失，并可以改善标签噪声，通过实验证明了知识蒸馏的有效性。

May, 2021

大型语言模型的双空间知识蒸馏

通过提出双空间知识蒸馏 (DSKD) 框架，我们解决了当前白盒知识蒸馏框架中不同模型之间输出空间差异导致的问题，并进一步开发了跨模型注意力机制，支持具有不同词汇的任意两个大语言模型之间的知识蒸馏。实验证明，DSKD 在各种距离函数下显著优于当前白盒知识蒸馏框架，并且超过了现有的具有不同词汇的大语言模型的其他知识蒸馏方法。

Jun, 2024

大型语言模型的知识蒸馏综述：方法、评估与应用

这篇论文通过从方法、评估和应用三个方面对专门针对大型语言模型的知识蒸馏技术进行了全面调查，将方法分为白盒知识蒸馏和黑盒知识蒸馏，并探讨了不同蒸馏方法之间的评估任务和蒸馏效果，并提出了未来研究的方向。通过深入了解最新进展和实际应用，这篇综述为研究人员提供了有价值的资源，为这一领域的持续进展铺平了道路。

Jul, 2024