图式推理:基于图形的增强大型语言模型
大型语言模型(LLMs)在生成连贯思路解释时展现出强大的推理能力,然而,之前的研究仅关注于回答的准确性,忽略了生成的连贯思路的正确性。本文通过利用知识图谱(KGs)深入探讨 LLMs 在多跳问题回答中的连贯思路推理能力。我们提出了一种新颖的区分性和生成性连贯思路评估范式,用于评估 LLMs 关于推理的知识和生成连贯思路的准确性。通过在两个多跳问题回答数据集上对 5 个不同家族的 LLMs 进行的实验证明,LLMs 具有足够的知识进行推理,然而,LLMs 生成的连贯思路的准确性与回答的准确性存在显著差异,表明它们经常通过错误的推理方法得出正确的答案。
Feb, 2024
使用 T5 预训练模型实现了图形思维推理模型,提高了基于文本推理任务 GSM8K 的性能和面向多模态的推理任务 ScienceQA 的准确率,通过较少的骨干模型参数与基于 700M 参数的 Multimodal-CoT 模型获得相当的结果,探索了非线性思考的建模方法。
May, 2023
通过在知识图谱(KG)上选择推理路径并结合思维链(CoT)和 PageRank 的子图检索方法,本文整合和优化了一个基于大型语言模型(LLM)的管道,可以减少对 LLM 的依赖。最终,RoK 证明了使用较少的 LLM 调用可以达到相同的结果。
Apr, 2024
本文提出了 'Logic-Query-of-Thoughts' (LGOT) 方法,首次将大型语言模型 (LLMs) 与基于知识图谱的逻辑查询推理相结合,通过将复杂的逻辑查询拆解为易答的子问题,并利用知识图谱推理和 LLMs 共同解答,最终获得准确的结果。实验结果显示 LGOT 在性能上得到了大幅提升,相比 ChatGPT 提高了 20%。
Mar, 2024
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
介绍了 Think-on-Graph(ToG),这是一种利用知识图谱增强 LLMs 深度和负责任推理能力的新框架,并通过对复杂的多跳问题回答任务的实验证明了 ToG 优于现有方法。
Jul, 2023
通过将图学习模型与大型语言模型(LLMs)有机地融合,我们介绍了 GraphLLM,一种能够使 LLMs 能够熟练解释和推理图数据的先导性端到端方法,经过多个基础图推理任务的实证评估,结果展示了平均准确率提高 54.44%以及各种图推理任务中 96.45%的显著上下文减少。
Oct, 2023
我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM,通过将上下文翻译成时间图,教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益,并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理,观察到符号推理带来更一致可靠的结果。
Jan, 2024
通过一种新的框架 GraphText,将图形转化为自然语言,无需图数据训练,能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理,同时为人类和大型语言模型提供了与模型无缝交流的方式,突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。
Oct, 2023