EMNLPDec, 2023

ReasoningLM: 在预训练语言模型中实现知识图谱中的结构子图推理以解决问题回答

PDF
TL;DRQuestion Answering over Knowledge Graph (KGQA) aims to seek answer entities for the natural language question from a large-scale Knowledge Graph. To better perform reasoning on KG, recent work typically adopts a pre-trained language model (PLM) and a graph neural network (GNN) module, but these are not closely integrated. This paper proposes ReasoningLM, a more capable PLM that directly supports subgraph reasoning for KGQA, outperforming state-of-the-art models.
question answering over knowledge graphkgqapre-trained language modelreasoninglmsubgraph reasoning
发现论文，激发创造
  • QA-GNN: 用语言模型和知识图谱进行问答推理

    该研究提出了一种新模型 QA-GNN，通过关联系统知识图和语言模型，实现对问题与答案之间的共同推理，并取得了在常识和生物医学领域 QA 测试中优于现有模型的表现。

    Apr, 2021

  • 高效知识路径的推理：知识图引导领域问题回答的大型语言模型

    通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

    Apr, 2024

  • 通过知识图谱集成协作的强化提示型 LLM 推理方案

    利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

    Feb, 2024

  • GreaseLM：用于问题回答的图推理增强语言模型

    本论文提出了一种新模型 GreaseLM，它将来自预训练语言模型和图神经网络的编码表示在多个层次的模态交互操作中融合，可以更可靠地回答需要考虑情境限制和结构化知识推理的问题。

    Jan, 2022

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • UniKGQA：基于知识图谱的多跳问答统一检索与推理

    UniKGQA 是一种新的多跳知识图谱问答方法，通过统一检索和推理模型架构和参数学习，基于预训练语言模型的语义匹配模块和匹配信息传播模块进行问题与关系的语义匹配，采用共同的预训练任务和检索以及推理定向的微调策略。

    Dec, 2022

  • CuriousLLM: 提升多文档问答与推理注入的知识图提示

    在问答领域中，将大型语言模型与外部数据库结合已经取得了巨大的成功。然而，这些方法在提供复杂问答任务所需的高级推理方面常常效果不佳。为了解决这些问题，我们改进了一种称为 “知识图谱提示” 的新方法，该方法结合了知识图谱和基于大型语言模型的代理以提高推理和搜索准确性。然而，原始的知识图谱提示框架需要在大型数据集上进行昂贵的微调，并且仍然存在着大型语言模型幻觉的问题。因此，我们提出了一种注入推理能力的大型语言模型代理来增强该框架。这种代理模仿人类的好奇心来提问后续问题，以更高效地导航搜索。这种简单的改进显著提升了大型语言模型在问答任务中的性能，而无需承担初始 “知识图谱提示” 框架的高成本和延迟。我们的最终目标是进一步发展这种方法，在问答领域提供更准确、更快速、更具成本效益的解决方案。

    Apr, 2024

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • 从知识图谱中学习为检索增强的大型语言模型规划

    使用来自知识图谱的规划数据，我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架，通过使用这些数据对 LLMs 进行微调，提高其规划能力，更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估，包括我们提出的新基准，突出了其有效性和知识图谱派生规划数据的好处。

    Jun, 2024

  • 针对知识图谱的归纳逻辑推理的查询结构建模

    本文提出了一种基于文本编码的结构模型框架，用于在知识图谱上进行归纳逻辑推理，通过设计渐进式的指令和额外的注意力和 maxout 层来增强结构建模，成功处理了复杂查询的逻辑结构，提高了在归纳和转导数据集上的推理效率。

    May, 2023