COLINGFeb, 2024

Sinkhorn 距离最小化的知识蒸馏

PDF
TL;DR通过 Sinkhorn 知识蒸馏方法，克服了传统教师 - 学生模式中 Kullback-Leibler 散度的模型坍缩、反 Kullback-Leibler 散度的模型平均以及 Jensen-Shannon 散度的模型低估等问题，有效地压缩大型语言模型并在多样的自然语言处理任务中取得了优越性能。
knowledge distillationlanguage modelsdivergence measuressinkhorn knowledge distillationnlp tasks
发现论文，激发创造
  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 对大型语言模型的知识蒸馏中库尔巴克 - 莱布勒散度的重新思考

    通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

    Apr, 2024

  • 利用最优传输距离进行知识蒸馏，提高神经跨语言摘要生成的效果

    本文提出了基于知识蒸馏的跨语言摘要框架，通过 Sinkhorn Divergence 实现了师生之间的知识转移，并在跨语言摘要数据集上证明了该方法的高效性。

    Dec, 2021

  • 大型语言模型的知识蒸馏

    本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

    Jun, 2023

  • Sinkhorn 距离的模仿学习

    本文提出了一种将模仿学习看作是最小化占用量度量之间的 Sinkhorn 距离的可实现解决方案，并通过在对抗性学习特征空间中定义余弦距离成本，将最优运输度量的有价值特性与比较非重叠分布相结合。

    Aug, 2020

  • 大型语言模型的双空间知识蒸馏

    通过提出双空间知识蒸馏 (DSKD) 框架，我们解决了当前白盒知识蒸馏框架中不同模型之间输出空间差异导致的问题，并进一步开发了跨模型注意力机制，支持具有不同词汇的任意两个大语言模型之间的知识蒸馏。实验证明，DSKD 在各种距离函数下显著优于当前白盒知识蒸馏框架，并且超过了现有的具有不同词汇的大语言模型的其他知识蒸馏方法。

    Jun, 2024

  • Wasserstein 对比表示蒸馏

    本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

    Dec, 2020

  • 序列级知识蒸馏的 f - 分歧最小化

    我们提出了一个名为 f-DISTILL 的框架，将序列级别的知识蒸馏作为最小化广义 f - 分歧函数的过程，并显示现有的 SeqKD 和 ENGINE 方法是我们 f-DISTILL 方法的近似。通过在四个数据集上的实验，我们发现我们的方法优于现有的蒸馏方法，并且我们的对称蒸馏损失可以更好地促使学生从教师分布中学习。

    Jul, 2023

  • 大型语言模型的直接偏好知识蒸馏

    在大型语言模型领域，我们提出了 Direct Preference Knowledge Distillation (DPKD) 方法，通过利用分布差异来表示偏好损失和隐式奖励函数，将语言模型知识蒸馏分为两个阶段，并通过实验证明了其广泛适用性和有效性。同时，我们通过实验和理论分析证明了引入的隐式奖励和输出偏好在知识蒸馏中的价值和效果，DPKD 方法在输出响应精度和完全匹配百分比上优于基准方法。

    Jun, 2024

  • DistiLLM：面向大型语言模型的精简蒸馏

    DistiLLM 是一种更有效和高效的知识蒸馏框架，适用于自回归语言模型，通过引入倾斜的 Kullback-Leibler 散度损失和自适应的离策略方法，构建高性能的学生模型，并相较于最近的知识蒸馏方法获得最高 4.3 倍的加速比。

    Feb, 2024