LLM-ARK:大型语言模型在知识图谱推理中的应用:深度强化学习
本文对大型语言模型在知识图谱构建和推理方面进行了全面的定量和定性评估,结果表明,GPT-4 在大多数任务中表现优异,并在某些推理和问答数据集中甚至超过了微调模型。同时,我们还提出了基于多智能体的 AutoKG 方法,该方法可利用 LLMs 进行知识图谱构建和推理,为该领域的未来发展提供有趣的机遇。
May, 2023
通过在知识图谱(KG)上选择推理路径并结合思维链(CoT)和 PageRank 的子图检索方法,本文整合和优化了一个基于大型语言模型(LLM)的管道,可以减少对 LLM 的依赖。最终,RoK 证明了使用较少的 LLM 调用可以达到相同的结果。
Apr, 2024
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
本研究提出一种基于图形提取算法和大型语言模型的解耦合语言引导抽象推理方法,将复杂的知识图推理作为上下文知识图搜索和抽象逻辑查询推理的组合,显著提高了复杂查询的性能。
May, 2023
本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用,以可持续发展文本为案例进行了多个实验,结果表明,使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性,并探索了使用基础 LLM 模型自动创建本体论的潜力,取得更相关和准确的知识图谱。
May, 2023
本研究旨在通过知识图谱改进大型语言模型 (LLM) 的推理能力,以回答复杂问题。我们提出了一种自主的基于 LLM 的智能体框架 KG-Agent,它允许一个小型 LLM 主动作出决策,直到完成对知识图谱的推理过程。在 KG-Agent 中,我们整合了 LLM、多功能工具箱、基于知识图谱的执行器和知识存储器,并开发了一个迭代机制,自主选择工具,然后更新用于对知识图谱进行推理的记忆。为了保证有效性,我们利用程序语言对知识图谱上的多跳推理过程进行了规范,并合成了基于代码的指令数据集,以对基础 LLM 进行微调。大量实验证明,仅使用 10K 个样本对 LLaMA-7B 进行微调就能在领域内外的数据集上超过使用更大的 LLM 或更多数据的现有方法。我们的代码和数据将公开发布。
Feb, 2024
在本研究中,我们探索了利用大型语言模型(LLM)来完成知识图的关键问题。通过将知识图中的三元组视为文本序列,并引入名为 Knowledge Graph LLM(KG-LLM)的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示,并利用生成的响应进行预测。在各种基准知识图上的实验证明,我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现,微调相对较小的模型(例如 LLaMA-7B,ChatGLM-6B)优于最新的 ChatGPT 和 GPT-4。
Aug, 2023
KG-GPT 是一个多功能框架,利用大型语言模型(LLMs)进行知识图谱(KGs)相关任务的复杂推理,将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。我们通过使用基于 KG 的事实验证和 KGQA 基准来评估 KG-GPT,发现该模型表现出竞争力和稳健性,甚至胜过几个完全监督的模型。因此,我们的工作在统一 LLMs 的结构化和非结构化数据处理方面迈出了重要的一步。
Oct, 2023
本文提出了使用知识图谱和大型语言模型的三种框架,分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作,实现双向推理,提高自然语言处理和人工智能的表现,同时指出未来的研究方向。
Jun, 2023
使用来自知识图谱的规划数据,我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架,通过使用这些数据对 LLMs 进行微调,提高其规划能力,更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估,包括我们提出的新基准,突出了其有效性和知识图谱派生规划数据的好处。
Jun, 2024