本文综述了知识图谱完成中的当前研究状态，特别关注了知识图谱嵌入设计的两个主要分支：基于距离的方法和基于语义匹配的方法，并探讨了与最近提出的模型之间的关联及其背后的趋势，最后讨论了利用预训练语言模型和实体关系的文本描述相结合进行知识图谱完成的新方法。

Sep, 2023

本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

Nov, 2021

Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

Nov, 2023

提出了一种名为 KGLM 的知识图谱语言模型结构，该结构通过引入新的实体 / 关系嵌入层来学习区分不同的实体和关系类型，从而允许模型学习知识图谱的结构，并通过对知识图谱中提取的三元组进行附加培训，跟随标准的微调阶段，取得了基准数据集上的链接预测任务的最新性能。

Nov, 2022

图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

Jan, 2024

本文介绍了 LambdaKG，一个使用多个预训练语言模型（如 BERT，BART，T5 和 GPT-3）为基础的 KGE 库，为知识图谱完成、问题回答、推荐和知识探测等提供支持，已在公共开源平台上发布，并具有长期维护。

Oct, 2022

本文提出了一种名为 KEPLER 的模型，将知识嵌入和预训练自然语言表示模型有效地结合起来，能够在多种自然语言处理任务上取得最先进的表现，并且能够作为一种归纳式知识嵌入模型在 KG 链接预测中取得显著的效果，同时构建了大规模的带有实体描述的知识图谱数据集 Wikidata5M 以成为新的知识嵌入基准，并促进大型知识图谱、归纳式知识嵌入和具有文本的知识图谱研究。

Nov, 2019

大语言模型（LLMs）与知识表示学习（KRL）的整合标志着人工智能领域的重要进展，增强了捕捉和利用复杂知识结构的能力，这种协同作用利用了 LLMs 的高级语言和语境理解能力，提高了 KRL 的准确性、适应性和有效性，从而扩大了其应用和潜力。尽管越来越多的研究关注将 LLMs 嵌入知识表示领域，但对这些增强模型的基本组件和过程的全面回顾明显缺失。我们的调查通过对这些模型进行基于三种不同 Transformer 架构的分类，并分析来自各种 KRL 下游任务的实验数据，评估每种方法的优点和缺点。最后，我们确定并探索这个新兴但未充分开发的领域的潜在未来研究方向，提出了持续进展的路径。

Jul, 2024

本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

Oct, 2022

该研究提出了一种基于大型语言模型增强的实体对齐框架（LLMEA），将知识图谱的结构知识与大型语言模型的语义知识相结合，以提升实体对齐的效果。实验结果表明，LLMEA 优于其他基线模型，进一步剖析试验证实了我们提出框架的效能。

Jan, 2024