ACLMay, 2021

预训练语言模型的知识继承

PDF
TL;DR介绍了一种新的预训练框架 —— 知识遗传，并研究了如何在预训练过程中使用知识蒸馏作为辅助监督来高效地学习更大的预训练语言模型，并证明了知识遗传在训练效率方面的卓越表现，同时探索了教师 PLMs 的预训练设置对知识遗传的影响和如何应用知识遗传进行领域适应和知识转移。
pre-trained language modelsknowledge inheritanceknowledge distillationtraining efficiencydomain adaptation
发现论文，激发创造
  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 预训练语言模型在知识密集型自然语言处理中的研究调查

    本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。

    Feb, 2022

  • 从模仿到整合：面向预训练语言模型的知识整合

    本研究探讨了一种新的 PLM 重用范式，即 Knowledge Integration（KI），旨在将来自不同专门处理不同分类问题的 PLM 的知识融合成一个通用的学生模型，该研究使用 Monte-Carlo Dropout 算法，设计了 MUKI 框架来实现模型不确定性，实验结果表明 MUKI 在基准数据集上实现了比基线模型更大的改进。

    Oct, 2022

  • KALA: 知识增强语言模型适应

    本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

    Apr, 2022

  • KILM：编码器 - 解码器语言模型中的知识注入

    本文提出一种名为 KILM 的方法，在不修改预训练语言模型结构或添加参数的情况下，通过一种生成式知识补充目标，将实体相关的知识注入到编 - 解码预训练语言模型中，实验结果表明，KILM 可以使模型保持更多的知识并且在零样本学习的情况下取得更好的性能。

    Feb, 2023

  • Prix-LM：多语言知识库构建预训练

    本研究通过提出 Prix-LM 模型，利用大型预训练语言模型在多种语言间进行联合表示，构建和完善多语言知识库，并在实体相关任务方面展示其有效性。

    Oct, 2021

  • 大型语言模型的知识编辑：综述

    介绍了大型语言模型（LLMs）的计算成本问题以及知识模型编辑（KME）领域中的最新进展和分类技术，探讨了方法的洞见、优势、限制以及实际应用和挑战，并提出了未来研究方向。

    Oct, 2023

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • DKPLM：用于自然语言理解的可分解知识增强预训练语言模型

    本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

    Dec, 2021