ACLMay, 2023

预训练语言模型的即插即用知识注入

PDF
TL;DR本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。
pre-trained language modelsknowledge injectionplug-and-playdownstream modelsmap-tuning
发现论文，激发创造
  • K-PLUG：用于电子商务自然语言理解和生成的知识注入预训练语言模型

    本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

    Apr, 2021

  • 将领域知识注入语言模型以用于面向任务的对话系统

    本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

    Dec, 2022

  • 将知识与参数解耦，实现即插即用式语言建模

    本文介绍了一种用可编辑、可扩展的键值存储器与不可编辑的模型参数分离的 PlugLM 预训练模型，并在三个不同的场景下进行了评估，证明了该设计选择的合理性。

    May, 2023

  • 知识注入框架再探

    大型语言模型 (LLMs) 在全球范围内取得了重大影响，然而如何利用外部知识使这些模型更好地适应垂直领域特定任务的问题仍未完全解决。本文针对此问题进行了深入研究，提出了一种基于剪枝和净化外部知识库的方法，该方法能够克服注入知识时的常识问题，并进一步推动领域自适应语言模型的性能界限。

    Nov, 2023

  • DKPLM：用于自然语言理解的可分解知识增强预训练语言模型

    本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

    Dec, 2021

  • KILM：编码器 - 解码器语言模型中的知识注入

    本文提出一种名为 KILM 的方法，在不修改预训练语言模型结构或添加参数的情况下，通过一种生成式知识补充目标，将实体相关的知识注入到编 - 解码预训练语言模型中，实验结果表明，KILM 可以使模型保持更多的知识并且在零样本学习的情况下取得更好的性能。

    Feb, 2023

  • 预训练语言模型在知识密集型自然语言处理中的研究调查

    本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。

    Feb, 2022

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 基于交叉模态衔接器的通用高效视觉知识注入预训练语言模型

    本文提出了一种新的插入式模块 X-adapter，用于将预训练的 VLMs 的对齐视觉和文本知识灵活地融入 PLMs 中，以提高对象 - 颜色推理和自然语言理解 (NLU) 任务性能。

    May, 2023

  • 利用显式知识提升预训练语言模型的段落重排能力

    使用知识图谱，结合自然语言处理模型和图神经网络为基础，研究出一种新的知识型篇章再排序方法，提高了特定领域问题的查询准确性。

    Apr, 2022