Oct, 2023

提升大型语言模型在知识图谱补全中的性能

PDF
TL;DR利用大型语言模型（LLM）的结构感知推理能力，将知识图谱（KG）中的结构信息嵌入到 LLMs 中，从而提高 LLMs 的知识推理能力。我们提出了一种结构感知推理框架，并通过实验证明了引入结构信息对 LLMs 的知识推理能力的改进效果。
large language modelknowledge graph completionstructural-aware reasoningknowledge prefix adapterllm's knowledge reasoning ability
发现论文，激发创造
  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • 基于大型语言模型的多角度知识图谱补全方法改进

    MPIKGC 是一个通用框架，利用大型语言模型从不同的角度查询以补偿环境化知识的不足，改进了基于描述的知识图补全方法，扩展了实体描述，理解关系，并提取结构，通过四种基于描述的知识图补全模型和四个数据集进行了广泛评估，适用于链接预测和三元组分类任务。

    Mar, 2024

  • 探索用于知识图谱完成的大型语言模型

    在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

    Aug, 2023

  • CP-KGC: 基于大型语言模型的约束型提示知识图谱补全

    本研究使用文本为基础的方法提升了知识图谱补全的效果，并通过引入约束型提示来改善大型语言模型生成的文本质量，该方法在低资源计算条件下展现了有效的推理能力，并在 WN18RR 和 FB15K237 数据集上超越了之前的结果，为将大型语言模型应用于知识图谱补全任务提供了新的研究方向。

    Oct, 2023

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • 预训练语言模型是否真能推断知识图谱中未见节点的关联？

    通过预训练模型的知识获取，我们提出了一种方法用于构建合成数据集，研究表明预训练模型在知识图谱补全中具备了推理能力，尽管性能的提高主要来自实体和关系的文本信息。

    Nov, 2023

  • 面向知识图谱补全的语义增强嵌入

    基于嵌入式知识图谱（KG）完成已经引起了人们的广泛关注，通过生成 KG 嵌入，讨论了不同类型的 KG 完成算法，包括链路预测、实体类型预测算法以及利用 KG 和大型语言模型（LLM）的算法，最后讨论了不同描述逻辑公理所表达的语义，并提出了对当前工作的批判性反思和未来方向的建议。

    Jul, 2023

  • 基于结构实体锚点的高效对比知识图谱补全的统一结构和语义

    使用预训练语言模型方法，结合实体锚点和负采样的方式有效地统一了结构信息和语义信息，提高了知识图谱完成任务的性能，尤其在关联预测任务上表现最佳，超过了现有结构为基础的方法。

    Nov, 2023

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022