图上推理:忠实且可解释的大型语言模型推理
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
我们引入了一种基于图的方法来增强大型语言模型的推理能力,通过分析和验证由 LLMs 生成的解决方案,我们的实验结果表明,我们的基于图的验证方法不仅显著提高了 LLMs 的推理能力,而且在提高这些模型的推理性能方面优于现有的验证程序。
Aug, 2023
本研究提出一种基于图形提取算法和大型语言模型的解耦合语言引导抽象推理方法,将复杂的知识图推理作为上下文知识图搜索和抽象逻辑查询推理的组合,显著提高了复杂查询的性能。
May, 2023
通过在知识图谱(KG)上选择推理路径并结合思维链(CoT)和 PageRank 的子图检索方法,本文整合和优化了一个基于大型语言模型(LLM)的管道,可以减少对 LLM 的依赖。最终,RoK 证明了使用较少的 LLM 调用可以达到相同的结果。
Apr, 2024
LLMs 通过内部的知识图来推理知识图谱,本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力,并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。
Dec, 2023
介绍了 Think-on-Graph(ToG),这是一种利用知识图谱增强 LLMs 深度和负责任推理能力的新框架,并通过对复杂的多跳问题回答任务的实验证明了 ToG 优于现有方法。
Jul, 2023
本文提出了 'Logic-Query-of-Thoughts' (LGOT) 方法,首次将大型语言模型 (LLMs) 与基于知识图谱的逻辑查询推理相结合,通过将复杂的逻辑查询拆解为易答的子问题,并利用知识图谱推理和 LLMs 共同解答,最终获得准确的结果。实验结果显示 LGOT 在性能上得到了大幅提升,相比 ChatGPT 提高了 20%。
Mar, 2024
本文提出了一种检索 - 探索互动方法 FiDelis,用于处理以知识图谱为基础的推理的中间步骤。通过结合 LLMs 的逻辑和常识推理以及 KG 的拓扑连接性,我们提出了 Path-RAG 模块,用于从 KG 中检索有用的中间知识用于 LLM 推理,并利用 LLMs 的演绎推理能力来自动引导推理过程,以精确确定何时停止进一步的推理,避免误导推理链和不必要的计算。大量实验证明我们的方法在三个基准测试中的性能优于现有的强基线模型,并且作为一种无需训练且计算成本较低且具有更好普适性的方法。
May, 2024
我们通过复杂问题回答作为任务,对比了不同的知识图谱注入方法,旨在探索最佳提供知识图谱给大型语言模型的提示方法,从而增强其对知识图谱的理解能力。与预期相反,我们的分析发现,大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识,并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。
Feb, 2024
通过将图学习模型与大型语言模型(LLMs)有机地融合,我们介绍了 GraphLLM,一种能够使 LLMs 能够熟练解释和推理图数据的先导性端到端方法,经过多个基础图推理任务的实证评估,结果展示了平均准确率提高 54.44%以及各种图推理任务中 96.45%的显著上下文减少。
Oct, 2023