GNN-RAG:用于大规模语言模型推理的图神经网络检索
该研究提出了一种新模型QA-GNN,通过关联系统知识图和语言模型,实现对问题与答案之间的共同推理,并取得了在常识和生物医学领域QA测试中优于现有模型的表现。
Apr, 2021
提出了一种简单而有效的方法来检索和重新排序与问题回答相关的三元组,并将它们与问题连接以提高语言模型的表现,实验结果显示,其在常识问答和开放式书本问答数据集上均表现优于现有的最佳方法。
May, 2023
本文提出了一种基于图神经网络的两步推理模型(GNN2R),可以在只有问题-最终答案对的弱监督下高效地提供最终答案和推理子图作为最终答案背后的理由,从而解决了知识图谱中基于多跳问题回答的解释生成问题。该模型在实验中表现出优于现有最先进方法的效果、效率和生成解释的质量。
Dec, 2023
Question Answering over Knowledge Graph (KGQA) aims to seek answer entities for the natural language question from a large-scale Knowledge Graph. To better perform reasoning on KG, recent work typically adopts a pre-trained language model (PLM) and a graph neural network (GNN) module, but these are not closely integrated. This paper proposes ReasoningLM, a more capable PLM that directly supports subgraph reasoning for KGQA, outperforming state-of-the-art models.
Dec, 2023
给定具有文本属性的图,我们使用对话界面使用户能够与其图进行交流,在回答用户问题时提供文本回复并突出显示图的相关部分。通过开发我们的图问题回答(GraphQA)基准和集成GNN、LLM和RAG的G-Retriever方法,我们在多个领域的文本图任务中超越基准,而且可以适应更大的图大小并抗幻觉。
Feb, 2024
此论文提出了一个Explore-then-Determine(EtD)框架,将Large Language Models(LLMs)与图神经网络(GNNs)相结合,用于在知识图谱上进行推理。在Explore阶段,使用轻量级GNN探索有希望的候选项和与问题相关的细粒度知识,而在Determine阶段,利用探索的信息构建一个知识增强的多项选择提示,指导冻结的LLM确定最终答案。对三个基准KGQA数据集进行的大量实验表明,EtD实现了最先进的性能并生成了忠实的推理结果。
Jun, 2024
我们提出了一种名为GNN-Ret的新型检索方法,利用图神经网络(GNNs)考虑段落间的相关性来增强检索过程,并通过RGNN-Ret处理多跳推理问题,从而提高问题回答准确率。实验结果表明,GNN-Ret相比多次查询的强基线方法在单次查询LLM的问题回答准确率上更高,而RGNN-Ret进一步提高了准确率,在2WikiMQA数据集上的准确率提高了10.4%。
Jun, 2024
Retrieval-augmented generation (RAG) has been enhanced with Think-on-Graph 2.0, aligning questions with knowledge graphs to improve information collection, integration, and precision, ensuring logical and factual consistency, advancing large language models' accuracy and reliability.
Jul, 2024
该研究解决了大型语言模型(LLMs)在推理中遇到的幻觉和知识过时问题,提出了基于知识图谱的检索增强生成框架SubgraphRAG。通过创新性地引入多层感知机与并行三重评分机制,使得子图检索更加高效灵活,同时提高了检索效果。研究显示,SubgraphRAG能够在不进行微调的情况下,较小的LLMs提供解释性推理并与更大型模型如GPT-4o在准确性上媲美,从而显著减少幻觉并改善响应的基础支持。
Oct, 2024