EMNLPOct, 2022

从模仿到整合：面向预训练语言模型的知识整合

PDF
TL;DR本研究探讨了一种新的 PLM 重用范式，即 Knowledge Integration（KI），旨在将来自不同专门处理不同分类问题的 PLM 的知识融合成一个通用的学生模型，该研究使用 Monte-Carlo Dropout 算法，设计了 MUKI 框架来实现模型不确定性，实验结果表明 MUKI 在基准数据集上实现了比基线模型更大的改进。
pre-trained language modelscomputational costknowledge integrationmonte-carlo dropoutmodel uncertainty
发现论文，激发创造
  • 预训练语言模型的知识继承

    介绍了一种新的预训练框架 —— 知识遗传，并研究了如何在预训练过程中使用知识蒸馏作为辅助监督来高效地学习更大的预训练语言模型，并证明了知识遗传在训练效率方面的卓越表现，同时探索了教师 PLMs 的预训练设置对知识遗传的影响和如何应用知识遗传进行领域适应和知识转移。

    May, 2021

  • 我的知识增强语言模型有哪些变化？

    该论文提出了一种叫做 “Graph Convolution Simulator”（GCS）的探针模型，用于解释知识增强语言模型（Knowledge-enhanced LMs）中知识整合的方式，并发现只有少量的事实知识被整合进 ERNIE 和 K-Adapter 中。

    Feb, 2022

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • InfuserKI: 通过 Infuser 引导知识集成增强大型语言模型

    通过使用 Infuser-Guided Knowledge Integration (InfuserKI) 框架，我们能够高效地将未知的知识集成到 Large Language Models (LLMs) 中，从而有效地减少知识遗忘，并超过现有方法在减少知识遗忘上的表现。

    Feb, 2024

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 预训练语言模型在知识密集型自然语言处理中的研究调查

    本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。

    Feb, 2022

  • 关于在持续预训练中有效地学习知识

    通过定义知识裸露和无知识 token 并对样本进行专业标注，该研究发现 PLMs 在从非结构化文本中获取知识方面存在困难并开发了两种解决方案来帮助模型进行更多的知识自学习，实验证明了这些方法的有效性，是第一次探索做到完全自我监督的知识连续预训练。

    Apr, 2022

  • 语言模型可进行知识追踪：将语言模型与知识追踪任务简单而有效地整合的方法

    利用语言模型集成的知识追踪方法在在线学习中提高了模型性能，并解决了冷启动问题。

    Jun, 2024