ACLJan, 2024

大规模语言模型的环境化蒸馏用于知识图谱补全

PDF
TL;DR通过引入上下文化蒸馏策略，将大型语言模型转化为更加丰富的上下文片段，进而通过引入定制的辅助任务，使得较小的知识图谱补全模型能够吸收这些丰富的三元组，并在各种数据集和知识图谱补全技术的综合评估中展现出卓越的性能提升和适应性，这为路径选择和适当的蒸馏任务提供了可解释性和洞察力。
knowledge graph completionpre-trained language modelscontextualization distillation strategylarge language modelsauxiliary tasks
发现论文，激发创造
  • 语言模型压缩中的语言上下文提取

    本文提出了一种新的语言表示学习的知识蒸馏方法，通过单词关系和层变换关系传递上下文知识，无需限制教师和学生的架构变化，验证了该方法在语言理解任务的各种架构和 DynaBERT 等自适应尺寸剪枝方法的挑战性基准上的有效性。

    Sep, 2021

  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • 通过蒸馏将知识更新传递给 LM

    文章介绍了建立语言模型的知识库的更新方法，通过上下文蒸馏的方式对实体进行继承知识，以良好的效果进行更新，而不会影响到性能。

    Jun, 2023

  • 基于大型语言模型的多角度知识图谱补全方法改进

    MPIKGC 是一个通用框架，利用大型语言模型从不同的角度查询以补偿环境化知识的不足，改进了基于描述的知识图补全方法，扩展了实体描述，理解关系，并提取结构，通过四种基于描述的知识图补全模型和四个数据集进行了广泛评估，适用于链接预测和三元组分类任务。

    Mar, 2024

  • 大型语言模型的知识蒸馏调查

    知识蒸馏（KD）机制在大型语言模型（LLM）中起着关键作用，将专有的 GPT-4 等模型的先进功能和细腻理解传输到像 LLaMA 和 Mistral 这样的开源模型。此次调查详细讨论了 KD 机制、特定认知能力增强以及其在不同领域的实际应用，展示了数据增广（DA）和 KD 之间的相互关系，旨在弥合专有和开源 LLM 之间的差距，促进更具可访问性、高效性和可持续性的人工智能解决方案。

    Feb, 2024

  • 提升大型语言模型在知识图谱补全中的性能

    利用大型语言模型（LLM）的结构感知推理能力，将知识图谱（KG）中的结构信息嵌入到 LLMs 中，从而提高 LLMs 的知识推理能力。我们提出了一种结构感知推理框架，并通过实验证明了引入结构信息对 LLMs 的知识推理能力的改进效果。

    Oct, 2023

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 大型语言模型的多阶段协作知识蒸馏

    我们提出了一种多阶段协同知识蒸馏方法，用于稀缺标记数据的半监督序列预测任务，通过从提示的大型语言模型中蒸馏出的学生模型，在特定任务上能够更好地泛化，且在两个句法分析任务上表现出了优势。

    Nov, 2023

  • 蒸馏上下文中的学习

    本文提出了上下文蒸馏的方法，以内化语言模型通过上下文提示或草稿本获得的性能早期；该方法可以内化抽象任务说明，步骤推理以及具体训练示例，从而有效地训练语言模型。

    Sep, 2022

  • 使用 Wasserstein 知识蒸馏提高神经主题模型

    本文提出了一种知识蒸馏框架，以压缩具有大内存占用的上下文化主题模型，而不会在主题质量上造成损失，并在两个公开数据集上进行实验以证明其有效性。

    Mar, 2023