Aug, 2023

探索用于知识图谱完成的大型语言模型

PDF
TL;DR在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。
发现论文，激发创造
  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 评估 LLMs 用于知识图谱补全的适用性

    大型语言模型 (LLMs) 能够解决与知识图谱相关的任务，如知识图谱补全，尤其在零次或少次训练的范式下。然而，它们被称为会产生错误的答案，或以不确定的方式输出结果，从而导致错误推理的回答，即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战，我们在静态知识图谱的知识图谱补全任务中，使用 TELeR 分类法构建的提示，在零次和一次迭代的上下文中，通过两个显著的 LLMs 进行实验，即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125，在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时，我们的结果表明，如果提示包含足够的信息和相关示例，LLMs 可能适用于这样的任务。

    May, 2024

  • 大型语言模型与知识图谱相互作用的研究趋势

    本研究调查了大型语言模型（LLMs）与知识图谱（KGs）之间的协同关系，旨在探讨 KG 问答、本体生成、KG 验证以及通过 LLMs 提高 KG 准确性和一致性等领域的研究空白。该论文还检验了 LLMs 在生成描述性文本和自然语言查询方面的作用，并通过分类 LLM-KG 交互、研究方法论和合作使用以及潜在偏见等结构化分析，提供了它们的结合潜力的新见解。该研究强调了它们的交互对于提升人工智能应用的重要性，并概述了未来的研究方向。

    Jun, 2024

  • 提升大型语言模型在知识图谱补全中的性能

    利用大型语言模型（LLM）的结构感知推理能力，将知识图谱（KG）中的结构信息嵌入到 LLMs 中，从而提高 LLMs 的知识推理能力。我们提出了一种结构感知推理框架，并通过实验证明了引入结构信息对 LLMs 的知识推理能力的改进效果。

    Oct, 2023

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • 通过知识图谱增强大型语言模型，实现事实感知语言建模

    该论文回顾了使用知识图谱增强的预训练模型的研究，详细介绍了现有的知识图谱增强预训练语言模型（KGPLMs）及其应用，并提出了基于知识图谱增强的大型语言模型（KGLLM）的思想以增强 LLM 的面向事实的推理能力，为 LLM 的研究开辟了新的途径。

    Jun, 2023

  • 知识图谱补全模型是少样本学习器：基于 LLMs 的电子商务关系标注的实证研究

    本文通过实证研究发现，大型语言模型在电商知识图谱中的关系标注任务中具有强大的学习能力和预测能力，相比于现有的知识图谱补全模型在关系标注任务上具有更高的竞争力，足以替代人工标注。

    May, 2023

  • 知识图谱大规模语言模型（KG-LLM）用于链接预测

    通过使用链式思维促进和上下文学习，该研究介绍了一种新方法，即知识图大型语言模型框架（KG-LLM），以提高知识图中多跳链接预测的效果。实验证明，集成上下文学习和链式思维不仅增加了方法的性能，而且显著提高了模型的泛化能力，从而在陌生情境中实现更准确的预测。

    Mar, 2024

  • 知识图谱构建与推理的 LLMs: 最新能力和未来机遇

    本文对大型语言模型在知识图谱构建和推理方面进行了全面的定量和定性评估，结果表明，GPT-4 在大多数任务中表现优异，并在某些推理和问答数据集中甚至超过了微调模型。同时，我们还提出了基于多智能体的 AutoKG 方法，该方法可利用 LLMs 进行知识图谱构建和推理，为该领域的未来发展提供有趣的机遇。

    May, 2023