KGLM: 将知识图谱结构整合到语言模型中进行链接预测
图形语言模型(GLM)集成了线性文本模型(LM)和图神经网络(GNN)的优点,同时减轻它们的弱点,在有监督和零样本情况下,在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。
Jan, 2024
在本研究中,我们探索了利用大型语言模型(LLM)来完成知识图的关键问题。通过将知识图中的三元组视为文本序列,并引入名为 Knowledge Graph LLM(KG-LLM)的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示,并利用生成的响应进行预测。在各种基准知识图上的实验证明,我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现,微调相对较小的模型(例如 LLaMA-7B,ChatGLM-6B)优于最新的 ChatGPT 和 GPT-4。
Aug, 2023
通过预训练模型的知识获取,我们提出了一种方法用于构建合成数据集,研究表明预训练模型在知识图谱补全中具备了推理能力,尽管性能的提高主要来自实体和关系的文本信息。
Nov, 2023
我们介绍了一种用于开发图形对齐的语言模型(GLaM)的微调框架,该框架将知识图形转化为具有标签的问题 - 答案对的替代文本表示。我们证明,以特定基于图形的知识为基础的模型具有更强的结构化推理能力。我们的方法利用大型语言模型的生成能力创建数据集,并提出了一种效率高于检索增强型生成方法的替代方法。
Feb, 2024
通过使用链式思维促进和上下文学习,该研究介绍了一种新方法,即知识图大型语言模型框架(KG-LLM),以提高知识图中多跳链接预测的效果。实验证明,集成上下文学习和链式思维不仅增加了方法的性能,而且显著提高了模型的泛化能力,从而在陌生情境中实现更准确的预测。
Mar, 2024
利用大型语言模型(LLM)的结构感知推理能力,将知识图谱(KG)中的结构信息嵌入到 LLMs 中,从而提高 LLMs 的知识推理能力。我们提出了一种结构感知推理框架,并通过实验证明了引入结构信息对 LLMs 的知识推理能力的改进效果。
Oct, 2023
在本研究中,我们提出了一种关系预测模型,它利用了知识图中的文本和结构信息,并结合了步行式嵌入和语言模型嵌入来有效地表示节点。通过在一个广泛使用的数据集上进行评估,我们证明了我们的模型在关系预测任务中取得了有竞争力的结果。
Apr, 2024
本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务,实现了 KMLMs 对事实知识和逻辑模式的学习,并在跨语言任务中展示了显著的性能提升,包括命名实体识别(NER)、事实知识检索、关系分类和新设计的逻辑推理任务。
Nov, 2021
本文研究如何提高知识图谱的完整性,通过引入 LP-BERT 模型,并结合语义匹配以及数据增强的方法,实现了知识图谱补全任务的最新成果,优于现有最佳表现。
Jan, 2022