Nov, 2023

大型语言模型的多阶段协作知识蒸馏

PDF
TL;DR我们提出了一种多阶段协同知识蒸馏方法，用于稀缺标记数据的半监督序列预测任务，通过从提示的大型语言模型中蒸馏出的学生模型，在特定任务上能够更好地泛化，且在两个句法分析任务上表现出了优势。
semi-supervised sequence predictionlarge language modelknowledge distillationmultistage collaborative knowledge distillationconstituency parsing
发现论文，激发创造
  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • 多语言语言模型预训练的语义知识多级蒸馏

    本论文提出了一种新的多层次多语种知识蒸馏方法（MMKD），采用英语 BERT 中的丰富语义表征知识和师生框架来鼓励源 - 目标对之间的多个层次一致性和教师和学生模型之间的相关相似性，以提高预先训练的多语种语言模型的性能。在横跨语言的评价任务中进行了实验证明，相对其他基线模型，MMKD 在 XNLI 和 XQuAD 上表现更好，在 PAWS-X 上表现相当，并且在低资源语言上获得了显著的性能提升。

    Nov, 2022

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 多阶段均衡蒸馏：解决序列级知识蒸馏中的长尾挑战

    大语言模型（LLMs）在各种自然语言处理任务中有了显著的进展，但部署仍然需要大量的计算资源。我们介绍了一种名为 Multi-Stage Balanced Distillation（BalDistill）的框架，通过在固定的计算资源预算内动态选择代表性的正样本和合成尾部样本，平衡训练数据，并在各种长尾数据集上取得了最先进的性能，提高了蒸馏模型的效率和效果。

    Jun, 2024

  • 终身语言知识蒸馏

    提出了一种名为 Lifelong Language Knowledge Distillation（L2KD）的方法来解决流式任务（stream of different tasks） LLL 中的性能降低问题，通过一个教师模型来将新任务的知识通过知识蒸馏的方式传递给现有的 LLL 模型，从而使得 LLL 模型可以更好地适应新任务，同时保留先前学习到的知识。该方法的实验证明，L2KD 在 LLL 任务的顺序生成和文本分类方面比之前的最先进模型有着不俗的表现，并且在与 multi-task 模型性能对比方面，L2KD 均获得了显著提升。

    Oct, 2020

  • 多语言序列标注的结构级知识蒸馏

    该研究提出使用知识蒸馏减少多语言模型与单语言模型之间性能差距，实验结果显示我们的方法优于多个基准模型并具有更强的零次通用性。

    Apr, 2020

  • 大型语言模型的知识蒸馏

    本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

    Jun, 2023

  • 运用大型语言模型和主动学习演化知识蒸馏

    提出了 EvoKD：演化知識蒸餾方法，利用主動學習的概念提升大型語言模型的數據生成過程，同時改善小型領域模型的任務能力。實驗和分析表明 EvoKD 在不同的自然語言處理任務，如文本分類和命名實體識別方面具有有效性。

    Mar, 2024

  • PromptKD：通过提示调整深度语言模型来提供适合学生的知识

    最近大型语言模型（LLMs）的进展引发了对推断成本的担忧，加大了对模型压缩研究的需求。尽管知识蒸馏（KD）是一种突出的方法，但对于生成性语言模型（如 LLMs）的 KD 研究相对较少，而在分类模型的 KD 中表现出有希望的学生友好知识蒸馏方法在生成性语言模型中尚未被探索。为了探索这种方法，我们提出了 PromptKD，一种简单而有效的方法，利用首次使用的提示调整方法在 KD 中实现生成性语言模型的学生友好知识转移。与需要对整个教师模型进行微调以提取学生友好知识的分类作品不同，PromptKD 通过添加少量的提示符令牌并仅调整提示来实现类似效果，并在学生的指导下进行。在使用 GPT-2 模型系列对遵循指令的数据集进行的广泛实验表明，PromptKD 实现了最先进的性能，并且仅添加了教师参数的 0.0007％作为提示。进一步的分析表明，蒸馏学生友好的知识有效地减轻了整个训练过程中的曝光偏差，从而提高了性能。

    Feb, 2024

  • 神经语言模型的一致性蒸馏架构

    本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

    Jan, 2023