May, 2024

GNN-RAG：用于大规模语言模型推理的图神经网络检索

HTML
PDF
TL;DR本文介绍了GNN-RAG，一种将LLMs的语言理解能力与GNNs的推理能力以检索增强生成（RAG）风格相结合的新方法。通过GNN在稠密的KG子图上推理，提取连接问题实体和答案候选的最短路径，将其转化为LLM推理的输入。实验证明，GNN-RAG在WebQSP和CWQ这两个广泛使用的KGQA基准测试中取得了最先进的性能，在7B调整的LLM上胜过或与GPT-4性能相匹配。此外，GNN-RAG在多跳和多实体问题上表现出色，其答案F1得分超过竞争方法8.9-15.5%。
发现论文，激发创造
  • QA-GNN: 用语言模型和知识图谱进行问答推理

    该研究提出了一种新模型QA-GNN，通过关联系统知识图和语言模型，实现对问题与答案之间的共同推理，并取得了在常识和生物医学领域QA测试中优于现有模型的表现。

    Apr, 2021

  • 三元组检索的图式推理问答

    提出了一种简单而有效的方法来检索和重新排序与问题回答相关的三元组，并将它们与问题连接以提高语言模型的表现，实验结果显示，其在常识问答和开放式书本问答数据集上均表现优于现有的最佳方法。

    May, 2023

  • NuTrea: 基于神经网络的上下文引导的多跳知识图谱问答

    通过在多跳知识图谱问题回答中引入神经树搜索和全局知识图上下文建模，提出了一种有效的方法用于解决复杂的自然语言问题。

    Oct, 2023

  • GNN2R: 弱监督下基于知识图谱的理由提供问答

    本文提出了一种基于图神经网络的两步推理模型（GNN2R），可以在只有问题-最终答案对的弱监督下高效地提供最终答案和推理子图作为最终答案背后的理由，从而解决了知识图谱中基于多跳问题回答的解释生成问题。该模型在实验中表现出优于现有最先进方法的效果、效率和生成解释的质量。

    Dec, 2023

  • ReasoningLM: 在预训练语言模型中实现知识图谱中的结构子图推理以解决问题回答

    Question Answering over Knowledge Graph (KGQA) aims to seek answer entities for the natural language question from a large-scale Knowledge Graph. To better perform reasoning on KG, recent work typically adopts a pre-trained language model (PLM) and a graph neural network (GNN) module, but these are not closely integrated. This paper proposes ReasoningLM, a more capable PLM that directly supports subgraph reasoning for KGQA, outperforming state-of-the-art models.

    Dec, 2023

  • G-Retriever：文本图理解与问答的检索增强生成

    给定具有文本属性的图，我们使用对话界面使用户能够与其图进行交流，在回答用户问题时提供文本回复并突出显示图的相关部分。通过开发我们的图问题回答（GraphQA）基准和集成GNN、LLM和RAG的G-Retriever方法，我们在多个领域的文本图任务中超越基准，而且可以适应更大的图大小并抗幻觉。

    Feb, 2024

  • 探索然后确定：用于知识图谱推理的GNN-LLM协同框架

    此论文提出了一个Explore-then-Determine（EtD）框架，将Large Language Models（LLMs）与图神经网络（GNNs）相结合，用于在知识图谱上进行推理。在Explore阶段，使用轻量级GNN探索有希望的候选项和与问题相关的细粒度知识，而在Determine阶段，利用探索的信息构建一个知识增强的多项选择提示，指导冻结的LLM确定最终答案。对三个基准KGQA数据集进行的大量实验表明，EtD实现了最先进的性能并生成了忠实的推理结果。

    Jun, 2024

  • 图神经网络增强的LLM问题回答检索

    我们提出了一种名为GNN-Ret的新型检索方法，利用图神经网络（GNNs）考虑段落间的相关性来增强检索过程，并通过RGNN-Ret处理多跳推理问题，从而提高问题回答准确率。实验结果表明，GNN-Ret相比多次查询的强基线方法在单次查询LLM的问题回答准确率上更高，而RGNN-Ret进一步提高了准确率，在2WikiMQA数据集上的准确率提高了10.4%。

    Jun, 2024

  • Think-on-Graph 2.0: 基于知识图引导的深度可解释大型语言模型推理

    Retrieval-augmented generation (RAG) has been enhanced with Think-on-Graph 2.0, aligning questions with knowledge graphs to improve information collection, integration, and precision, ensuring logical and factual consistency, advancing large language models' accuracy and reliability.

    Jul, 2024

  • 简单有效：图形与大型语言模型在知识图谱基础的检索增强生成中的作用

    该研究解决了大型语言模型（LLMs）在推理中遇到的幻觉和知识过时问题，提出了基于知识图谱的检索增强生成框架SubgraphRAG。通过创新性地引入多层感知机与并行三重评分机制，使得子图检索更加高效灵活，同时提高了检索效果。研究显示，SubgraphRAG能够在不进行微调的情况下，较小的LLMs提供解释性推理并与更大型模型如GPT-4o在准确性上媲美，从而显著减少幻觉并改善响应的基础支持。

    Oct, 2024