通过测量语言模型的端到端性能，我们实证研究了各种知识集成方法对外部知识的贡献，发现知识的引入可以显著提高某些任务的结果，同时对其他任务没有不良影响，使用互信息来反映知识带来的差异，通过神经解释模型揭示语言模型如何利用外部知识。

Sep, 2021

探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

Jun, 2022

本文通过在预训练中引入实体信号，将知识意识融入到语言模型的预训练中，无需改变 transformer 体系结构、插入显式知识层或添加语义信息外部存储。实验证明，仅通过添加这些实体信号进行预训练，可以在 transformer 参数中装载更多的知识，从而提高语言建模精度，并在 LAMA 知识探测任务中获得事实的正确性，利用边界分析显示出隐藏表示中的语义，同时表明我们的知识感知语言模型（KALM）可以作为一个可抛弃替换 GPT-2 模型，显著提高了零 - shot 问题回答等下游任务的表现。

Jun, 2020

本研究探讨使用知识图谱为预训练语言模型提供结构化知识的方法，提出并实现了两种利用知识图谱进行自监督训练的任务，并通过掩盖文本中的实体并利用实体关系知识进行训练，通过实验验证了该方法的有效性。

Apr, 2020

本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中，以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题，并在 GLUE 基准测试任务上进行大量实验证明其有效性。

Jun, 2023

本篇论文提出了通过外部知识库训练对话系统，解决无法预测未知实体的问题，具有良好的实验效果。

Sep, 2021

本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

Jan, 2021

本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

Sep, 2021

本文提出了一种通过利用大规模常识和基于命名实体的知识实现的新型开放域对话生成模型，该模型还利用了与每个话语相关的非结构化主题特定知识，并通过使用共指提高了常识知识。提出的模型利用多跳注意力层保留对话历史和相关知识的最准确和最关键的组成部分，还用到 Commonsense and Named Entity Enhanced Attention Module。实验结果表明我们的模型在两个基准数据集上均显著优于最先进的方法。

May, 2022

本文研究证明，通过在神经网络中嵌入知识图谱可以提高实体和专有名词的翻译效果，并提出了两种方法以增强神经模型的语义特征提取和对数据稀缺性和词汇表外的单词的挑战进行了探讨，结果表明，KG-NMT 模型取得了很好的效果。

Feb, 2019