Nov, 2023

预训练语言模型是否真能推断知识图谱中未见节点的关联？

PDF
TL;DR通过预训练模型的知识获取，我们提出了一种方法用于构建合成数据集，研究表明预训练模型在知识图谱补全中具备了推理能力，尽管性能的提高主要来自实体和关系的文本信息。
knowledge graphsknowledge graph completionembedding-based kgc methodspre-trained language model-based kgcinference abilities
发现论文，激发创造
  • 基于大型语言模型的多角度知识图谱补全方法改进

    MPIKGC 是一个通用框架，利用大型语言模型从不同的角度查询以补偿环境化知识的不足，改进了基于描述的知识图补全方法，扩展了实体描述，理解关系，并提取结构，通过四种基于描述的知识图补全模型和四个数据集进行了广泛评估，适用于链接预测和三元组分类任务。

    Mar, 2024

  • 提升大型语言模型在知识图谱补全中的性能

    利用大型语言模型（LLM）的结构感知推理能力，将知识图谱（KG）中的结构信息嵌入到 LLMs 中，从而提高 LLMs 的知识推理能力。我们提出了一种结构感知推理框架，并通过实验证明了引入结构信息对 LLMs 的知识推理能力的改进效果。

    Oct, 2023

  • 预训练语言模型结合知识约束的多语言知识图谱补全

    通过引入全局和局部知识约束，本文提出了一种用于多语言知识图谱补全的预训练模型，使其更好地适应 mKGC 任务，并在公共数据集上实验证明该方法在 Hits@1 和 Hits@10 方面的性能优于现有研究，平均提升了 12.32% 和 16.03%。

    Jun, 2024

  • 基于结构实体锚点的高效对比知识图谱补全的统一结构和语义

    使用预训练语言模型方法，结合实体锚点和负采样的方式有效地统一了结构信息和语义信息，提高了知识图谱完成任务的性能，尤其在关联预测任务上表现最佳，超过了现有结构为基础的方法。

    Nov, 2023

  • KGLM: 将知识图谱结构整合到语言模型中进行链接预测

    提出了一种名为 KGLM 的知识图谱语言模型结构，该结构通过引入新的实体 / 关系嵌入层来学习区分不同的实体和关系类型，从而允许模型学习知识图谱的结构，并通过对知识图谱中提取的三元组进行附加培训，跟随标准的微调阶段，取得了基准数据集上的链接预测任务的最新性能。

    Nov, 2022

  • 发挥联合作用：利用语言模型和邻域信息增强生成式知识图谱补全

    我们提出了一种改进基于语言模型的知识图谱补全方法，通过包含节点邻域作为附加信息，提高了预测效果，并且在多种评估数据集上优于传统方法和基于语言模型的 KGC 方法。我们还对邻域对模型预测的影响进行了详细分析，并指出了通过更有效的邻域选择来显著改进 KGC 的方向。

    Nov, 2023

  • 利用预训练语言模型预测文本增强时序知识图中的时间间隔

    我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

    Sep, 2023

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • CP-KGC: 基于大型语言模型的约束型提示知识图谱补全

    本研究使用文本为基础的方法提升了知识图谱补全的效果，并通过引入约束型提示来改善大型语言模型生成的文本质量，该方法在低资源计算条件下展现了有效的推理能力，并在 WN18RR 和 FB15K237 数据集上超越了之前的结果，为将大型语言模型应用于知识图谱补全任务提供了新的研究方向。

    Oct, 2023