使用大型语言模型在知识图谱上进行复杂的逻辑推理
本论文提出了一种理论上基于知识图谱的新方法 —— 图推理(RoG),该方法通过将大型语言模型(LLMs)与知识图谱(KGs)相结合,实现了忠实和可解释的推理,实验结果表明 RoG 在 KG 推理任务上取得了最先进的性能。
Oct, 2023
通过构建自然语言处理任务中的大型语言模型,研究了知识推理的细节和方法,并提出了一个全面的知识推理框架 Chain-of-Knowledge(CoK),通过基于知识图的规则挖掘生成数据集,并结合人类知识探索过程的试错机制来提高模型学习的效果。实验证明,CoK 不仅在知识推理上,还在一般推理基准中具有优异的效果。
Jun, 2024
LLMs 通过内部的知识图来推理知识图谱,本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力,并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。
Dec, 2023
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
在本文中,我们提出了一个基于大型语言模型(LLMs)的知识图谱上的复杂逻辑推理模式,包括一个基于课程的逻辑感知调优框架,名为 LACT。通过二叉树分解来增强 LLMs 的推理能力,并设计了一个简单而灵活的逻辑感知课程学习框架,以解决不同类型复杂查询之间的困难差距。实验结果表明,LACT 显著改进了其他先进方法(平均提高了 5.5% 的 MRR 得分),达到了最新的最佳效果。我们的代码和模型将很快在 GitHub 和 huggingface 上发布。
May, 2024
本文提出了一种基于文本编码的结构模型框架,用于在知识图谱上进行归纳逻辑推理,通过设计渐进式的指令和额外的注意力和 maxout 层来增强结构建模,成功处理了复杂查询的逻辑结构,提高了在归纳和转导数据集上的推理效率。
May, 2023
我们通过复杂问题回答作为任务,对比了不同的知识图谱注入方法,旨在探索最佳提供知识图谱给大型语言模型的提示方法,从而增强其对知识图谱的理解能力。与预期相反,我们的分析发现,大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识,并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。
Feb, 2024
本文介绍了知识图谱(KGs)以及其与关系知识的上下文信息的整合,重点讨论了基于三元组的 KGs 存在的局限性和上下文 KGs 的优势,并提出了 KGR$^3$,一个利用大型语言模型(LLMs)进行 KG 推理的范例,实验证明 KGR$^3$ 显著提高了 KG 补全和 KG 问答任务的性能,验证了将上下文信息整合到 KG 表示和推理中的有效性。
Jun, 2024