ChatRule: 大语言模型挖掘逻辑规则进行知识图推理
通过构建自然语言处理任务中的大型语言模型,研究了知识推理的细节和方法,并提出了一个全面的知识推理框架 Chain-of-Knowledge(CoK),通过基于知识图的规则挖掘生成数据集,并结合人类知识探索过程的试错机制来提高模型学习的效果。实验证明,CoK 不仅在知识推理上,还在一般推理基准中具有优异的效果。
Jun, 2024
最近发展的大型语言模型 (LLMs) 在各种语言理解任务上表现出色,但它们真正能够对自然语言进行 “推理” 吗?本文综合评估了 LLMS 在涵盖命题逻辑、一阶逻辑和非单调逻辑的 25 种不同推理模式上的逻辑推理能力,并引入了 LogicBench,一个关注单个推理规则使用的自然语言问答数据集,通过使用一系列的连贯思维提示与 GPT-4、ChatGPT、Gemini、Llama-2 和 Mistral 等多个 LLMS 进行详细分析。实验结果表明,现有的 LLMS 在 LogicBench 上表现不佳,尤其在涉及复杂推理和否定的情况下遇到困难,并有时忽视推理所需的上下文信息以得出正确结论。我们认为我们的工作和发现将有助于未来评估和提升 LLMS 的逻辑推理能力。
Apr, 2024
该论文提出了一种新的逻辑规则增强的知识图谱嵌入方法,可以与任何基于转换的知识图谱嵌入模型(如 TransE)轻松集成。经过广泛的实验,在链接预测和三元组分类上显示出更好的性能提升。
Mar, 2019
该论文回顾了使用知识图谱增强的预训练模型的研究,详细介绍了现有的知识图谱增强预训练语言模型(KGPLMs)及其应用,并提出了基于知识图谱增强的大型语言模型(KGLLM)的思想以增强 LLM 的面向事实的推理能力,为 LLM 的研究开辟了新的途径。
Jun, 2023
本论文提出了一种理论上基于知识图谱的新方法 —— 图推理(RoG),该方法通过将大型语言模型(LLMs)与知识图谱(KGs)相结合,实现了忠实和可解释的推理,实验结果表明 RoG 在 KG 推理任务上取得了最先进的性能。
Oct, 2023
本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用,以可持续发展文本为案例进行了多个实验,结果表明,使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性,并探索了使用基础 LLM 模型自动创建本体论的潜力,取得更相关和准确的知识图谱。
May, 2023
通过对大型语言模型的研究,我们发现它们在逻辑推理方面存在缺陷,导致其在任务解决中产生反事实的答案。为了解决这个问题,我们提出了多种策略,赋予大型语言模型逻辑推理能力,从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析,验证了通过逻辑训练大型语言模型的有效性和必要性,并为将来的工作提供了启示。
Oct, 2023
机器学习模型,特别是语言模型,被应用于需要推理的各种任务。我们探索了 transformers 将自然语言中表达规则的句子翻译成逻辑规则的能力,以便进行可信的和受控制的逻辑推理。通过使用 DKET 数据集和基于 Atomic 知识库的语言到逻辑翻译数据集进行实验。
Nov, 2023
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
通过基于逻辑搭建的推理规则生成框架 ULgogic 对 GPT 系列模型进行分析,揭示了它们在逻辑理解方面与人类表现相比存在的显著差距,尤其是在具有某种偏见模式的复合和结构复杂规则方面;同时,我们采用这些规则构建了一个小规模推理引擎,用于灵活地生成规则并增强下游推理能力,经过多评估者评估,我们的推理引擎证明在生成准确、复杂和抽象的结论和前提方面非常有效,从而为增强大型语言模型的逻辑推理能力提供了启示。
Feb, 2024