本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

Apr, 2021

本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

Dec, 2021

本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。

May, 2023

本文研究了如何将 Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加 PKM 来提高预训练和下游任务性能的有效性。

Oct, 2020

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022

本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

Oct, 2021

本文提出使用主动遗忘机制作为预训练过程中的一种简单方法，以创建能够快速适应新语言的 PLMs。实验证明，与标准模型相比，在资源匮乏的情况下，使用遗忘机制的预先训练模型不仅在语言适应过程中表现出更快的收敛速度，而且在特别是对于与英语不同的语言来说表现更佳。

Jul, 2023

本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

Apr, 2022

该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

Jul, 2022

介绍了一种新的预训练框架 —— 知识遗传，并研究了如何在预训练过程中使用知识蒸馏作为辅助监督来高效地学习更大的预训练语言模型，并证明了知识遗传在训练效率方面的卓越表现，同时探索了教师 PLMs 的预训练设置对知识遗传的影响和如何应用知识遗传进行领域适应和知识转移。

May, 2021