GreaseLM:用于问题回答的图推理增强语言模型
该研究提出了一种新模型 QA-GNN,通过关联系统知识图和语言模型,实现对问题与答案之间的共同推理,并取得了在常识和生物医学领域 QA 测试中优于现有模型的表现。
Apr, 2021
Question Answering over Knowledge Graph (KGQA) aims to seek answer entities for the natural language question from a large-scale Knowledge Graph. To better perform reasoning on KG, recent work typically adopts a pre-trained language model (PLM) and a graph neural network (GNN) module, but these are not closely integrated. This paper proposes ReasoningLM, a more capable PLM that directly supports subgraph reasoning for KGQA, outperforming state-of-the-art models.
Dec, 2023
利用预训练语言模型(LMs)和知识图谱(KGs)解答问题存在识别相关知识和进行联合推理的挑战。通过与先前发表的 QAGNN 方法进行比较,我们发现将相关的知识事实纳入问题上下文有助于提高问题回答性能,而将知识图谱融入语言模型中则只能带来少量增长,这表明将上下文知识事实结合起来可能对增强问题回答性能更具影响力。
Dec, 2023
本研究提出了一种新型模型 JointLK,通过联合 LM 和 GNN 的推理和动态 KG 的修剪机制解决现有 KG 增强模型在常识问题回答方面的局限性。通过一种新的密集双向注意模块,JointLK 在 LM 和 GNN 之间进行联合推理,并通过多步交互相互融合和更新两种模式的表征。接着,动态修剪模块使用联合推理生成的注意权重递归地修剪不相关的 KG 节点。在 CommonsenseQA 和 OpenBookQA 数据集上对 JointLK 进行评估,展示其对现有 LM 和 LM + KG 模型的改进以及其执行可解释推理的能力。
Dec, 2021
该研究提出了一个基于知识推理的预训练语言模型(OREO-LM),它采用可微分的知识图谱推理模块,使语言模型与知识图谱相互协作,以更好地回答开放域问题,并在 RoBERTa 和 T5 上实现了最先进的效果。
Nov, 2022
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
我们通过复杂问题回答作为任务,对比了不同的知识图谱注入方法,旨在探索最佳提供知识图谱给大型语言模型的提示方法,从而增强其对知识图谱的理解能力。与预期相反,我们的分析发现,大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识,并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。
Feb, 2024
在问答领域中,将大型语言模型与外部数据库结合已经取得了巨大的成功。然而,这些方法在提供复杂问答任务所需的高级推理方面常常效果不佳。为了解决这些问题,我们改进了一种称为 “知识图谱提示” 的新方法,该方法结合了知识图谱和基于大型语言模型的代理以提高推理和搜索准确性。然而,原始的知识图谱提示框架需要在大型数据集上进行昂贵的微调,并且仍然存在着大型语言模型幻觉的问题。因此,我们提出了一种注入推理能力的大型语言模型代理来增强该框架。这种代理模仿人类的好奇心来提问后续问题,以更高效地导航搜索。这种简单的改进显著提升了大型语言模型在问答任务中的性能,而无需承担初始 “知识图谱提示” 框架的高成本和延迟。我们的最终目标是进一步发展这种方法,在问答领域提供更准确、更快速、更具成本效益的解决方案。
Apr, 2024
尽管大型语言模型在知识密集型任务上表现出竞争力,但它们仍存在于记忆所有世界知识,尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法,我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法,并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。
Sep, 2023