本篇文章提出了一种基于知识图谱（如 Wikidata）的上下文推断方法，以提高预训练 transformer 模型在实体消歧（Named Entity Disambiguation）方面的性能，并通过实验证明该方法可以推广到维基百科，并显著优于现有基线方法。

Aug, 2020

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

本文介绍了知识图谱（KGs）以及其与关系知识的上下文信息的整合，重点讨论了基于三元组的 KGs 存在的局限性和上下文 KGs 的优势，并提出了 KGR$^3$，一个利用大型语言模型（LLMs）进行 KG 推理的范例，实验证明 KGR$^3$ 显著提高了 KG 补全和 KG 问答任务的性能，验证了将上下文信息整合到 KG 表示和推理中的有效性。

Jun, 2024

本文提出了一种新的联合预训练框架 JAKET，旨在更有效地整合与语言模型相关的知识图，并在几项知识感知 NLP 任务中取得了显著的性能优势。

Oct, 2020

探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

Jun, 2022

本文提出通过结构化的推理和语言模型预训练来模拟上下文中的结构化知识，并对复杂理解和知识图谱推理任务进行了实验，表明这种方法可以有效提高语言和知识图谱模式的复杂推理能力。

Jan, 2023

Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

Nov, 2023

本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

May, 2022

提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023

本研究论文介绍了一种新颖的模型，将知识图谱中的实体和关系编码为低维向量空间，并将上下文信息和字面信息融入到实体和关系嵌入中，使用图卷积网络进行建模，通过置信度和相关性度量评估上下文信息的重要性，并通过字面信息的表示来计算相关性度量。我们在两个常用基准数据集上进行了全面的实验证实以验证模型的性能。

Dec, 2023