知识图谱构建与推理的 LLMs: 最新能力和未来机遇

May, 2023

知识图谱构建与推理的 LLMs: 最新能力和未来机遇

LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities

Yuqi Zhu, Xiaohan Wang, Jing Chen, Shuofei Qiao, Yixin Ou...

TL;DR本文对大型语言模型在知识图谱构建和推理方面进行了全面的定量和定性评估，结果表明，GPT-4 在大多数任务中表现优异，并在某些推理和问答数据集中甚至超过了微调模型。同时，我们还提出了基于多智能体的 AutoKG 方法，该方法可利用 LLMs 进行知识图谱构建和推理，为该领域的未来发展提供有趣的机遇。

Abstract

This paper presents an exhaustive quantitative and qualitative evaluation of large language models (LLMs) for Knowledge Graph (KG) construction and reasoning. We employ eight distinct datasets that encompass aspects including entity, relation and event extraction, link prediction, and

large language models knowledge graphs gpt-4 autokg virtual knowledge extraction

发现论文，激发创造

利用大型语言模型增强知识图谱构建

本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

May, 2023

KG-GPT: 使用大型语言模型进行知识图谱推理的通用框架

KG-GPT 是一个多功能框架，利用大型语言模型（LLMs）进行知识图谱（KGs）相关任务的复杂推理，将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。我们通过使用基于 KG 的事实验证和 KGQA 基准来评估 KG-GPT，发现该模型表现出竞争力和稳健性，甚至胜过几个完全监督的模型。因此，我们的工作在统一 LLMs 的结构化和非结构化数据处理方面迈出了重要的一步。

Oct, 2023

统一大型语言模型和知识图谱：路线图

本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

Jun, 2023

大型语言模型与知识图谱相互作用的研究趋势

本研究调查了大型语言模型（LLMs）与知识图谱（KGs）之间的协同关系，旨在探讨 KG 问答、本体生成、KG 验证以及通过 LLMs 提高 KG 准确性和一致性等领域的研究空白。该论文还检验了 LLMs 在生成描述性文本和自然语言查询方面的作用，并通过分类 LLM-KG 交互、研究方法论和合作使用以及潜在偏见等结构化分析，提供了它们的结合潜力的新见解。该研究强调了它们的交互对于提升人工智能应用的重要性，并概述了未来的研究方向。

Jun, 2024

LLM-ARK：大型语言模型在知识图谱推理中的应用：深度强化学习

LLM-ARK 是一种基于大型语言模型和知识图谱推理的代理技术，通过 FTE 提示和 PPO 在线策略梯度强化学习算法，能够有效地提供多跳推理问题的高效解决方法。

Dec, 2023

探索用于知识图谱完成的大型语言模型

在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

Aug, 2023

通过知识图谱增强大型语言模型，实现事实感知语言建模

该论文回顾了使用知识图谱增强的预训练模型的研究，详细介绍了现有的知识图谱增强预训练语言模型（KGPLMs）及其应用，并提出了基于知识图谱增强的大型语言模型（KGLLM）的思想以增强 LLM 的面向事实的推理能力，为 LLM 的研究开辟了新的途径。

Jun, 2023

高效知识路径的推理：知识图引导领域问题回答的大型语言模型

通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

Apr, 2024

从人类专家到机器：一个基于 LLM 的本体和知识图构建方法

利用开源 LMMs 进行（半）自动化构建知识图谱的可行性研究以及深度学习方法的知识图谱构建

Mar, 2024

通过知识图谱集成协作的强化提示型 LLM 推理方案

利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

Feb, 2024