本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

Apr, 2022

本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。

May, 2023

本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

Apr, 2021

本文探讨了领域专业化预训练对任务定向对话的影响，并提出了一种领域适配器技术，通过构建和利用专门领域的资源，如 DomainCC 和 DomainReddit 来提高模型的任务性能。

Oct, 2021

本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

Dec, 2021

本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

Dec, 2023

大型语言模型 (LLMs) 在全球范围内取得了重大影响，然而如何利用外部知识使这些模型更好地适应垂直领域特定任务的问题仍未完全解决。本文针对此问题进行了深入研究，提出了一种基于剪枝和净化外部知识库的方法，该方法能够克服注入知识时的常识问题，并进一步推动领域自适应语言模型的性能界限。

Nov, 2023

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022