KG-RAG: 知识与创造之间的桥梁
本文介绍了 GNN-RAG,一种将 LLMs 的语言理解能力与 GNNs 的推理能力以检索增强生成(RAG)风格相结合的新方法。通过 GNN 在稠密的 KG 子图上推理,提取连接问题实体和答案候选的最短路径,将其转化为 LLM 推理的输入。实验证明,GNN-RAG 在 WebQSP 和 CWQ 这两个广泛使用的 KGQA 基准测试中取得了最先进的性能,在 7B 调整的 LLM 上胜过或与 GPT-4 性能相匹配。此外,GNN-RAG 在多跳和多实体问题上表现出色,其答案 F1 得分超过竞争方法 8.9-15.5%。
May, 2024
该研究提出了一种名为 PG-RAG 的预检索框架,使用大量阅读材料和结构化的语境记录来构建伪图数据库,该框架在单文档和多文档的问题回答任务中表现出明显的改进,具有高性能的检索和生成能力。
May, 2024
我们介绍了一种将 RAG 与知识图谱相结合的新型客户服务问答方法,通过保留内部问题结构和问题间关系,从历史问题中构建知识图谱用于检索,提高检索精度和解答质量。该方法在实证评估中显示,相对于基准模型,该方法在 MRR 上提升了 77.6%,在 BLEU 上提升了 0.32。我们的方法在 LinkedIn 的客户服务团队中使用了近六个月,并将平均每个问题的解决时间减少了 28.6%。
Apr, 2024
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
使用 PaperQA,通过对科学文献进行信息检索,评估来源和段落的相关性,并利用 RAG 提供答案的方法,超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现,使得该代理模型能够进行大规模、系统化的科学知识处理。
Dec, 2023
通过利用知识图谱缓解信息过载问题,本研究提出了一种新的信息检索方法,其检索性能在精确度和召回率两方面约为嵌入相似性方法的两倍,并且证明了嵌入相似性和知识图谱检索方法可以有益地结合成一个混合模型,优于两者,从而能够对生物医学问答模型进行潜在改进。
Feb, 2024
检视了检索增强型大型语言模型(RA-LLMs)的现有研究,涵盖体系结构、训练策略和应用三个主要技术视角,并介绍了此类模型的基础知识和最新进展,以及它们为大型语言模型(LLMs)带来的实际意义和应用领域的挑战和能力,最后讨论了当前的局限性和未来研究的几个有前途的方向。
May, 2024
ActiveRAG 是一种创新的 RAG 框架,它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制,从而提高了大型语言模型的内在认知,并在问答数据集上取得了 5% 的改进。
Feb, 2024