Jun, 2024

自感知的知识检索：用于自适应检索强化生成的方法

PDF
TL;DR介绍了一种自我感知知识检索模型（SeaKR），该模型从大规模语言模型（LLMs）的内部状态中提取自我感知的不确定性，通过检测 LLMs 生成时的高度不确定性来激活检索。为了有效地整合已检索的知识片段，SeaKR 根据 LLMs 的自我感知不确定性对其进行重新排序，以保留最大程度地减少不确定性的片段。为了解决需要多次检索的复杂任务，SeaKR 利用自我感知不确定性来选择不同的推理策略。在复杂和简单问答数据集上的实验证明，SeaKR 优于现有的自适应 RAG 方法。我们将代码发布在此 https URL。
发现论文，激发创造
  • 大语言模型的自我知识引导检索增强

    自我指导的检索增强（SKR）是一种简单而有效的方法，可以使大型语言模型适应性地调用外部资源，通过引用其先前遇到的问题，更好地利用内部知识和外部世界知识，以提高在问题回答等任务上的性能。

    Oct, 2023

  • 自我反思：学习通过检索、生成和评论

    通过检索和自我反思，Self-RAG 框架提高了语言模型的质量和准确性，在多样任务中显著优于其他模型。

    Oct, 2023

  • 通过自学使大型语言模型能够建立知识检索索引器

    该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

    May, 2024

  • 检索 QA：评估自适应检索增强生成在短形式开放领域问答中的应用

    动态确定查询的检索是否必要的自适应检索增强生成法（ARAG）旨在提高源信息的效率和相关性，但是以往的研究主要忽略了 ARAG 方法的评估，导致其效果未被充分研究。因此，本研究提出了一个基准测试集 RetrievalQA，包含了 1,271 个关于新颖领域和长尾知识的简短问题。为了正确回答这些问题，需要检索到外部信息。我们观察到基于校准的方法在很大程度上依赖于阈值调整，而简单的提示方法无法可靠地引导语言模型进行检索决策。基于我们的发现，我们提出了一种简单而有效的方法 Time-Aware Adaptive Retrieval（TA-ARE），可以帮助语言模型在不进行校准或额外训练的情况下评估检索的必要性。数据集和代码可在 https://github.com/hyintell/RetrievalQA 上获取。

    Feb, 2024

  • KG-RAG: 知识与创造之间的桥梁

    该论文介绍了一种名为 KG-RAG（知识图谱 - 检索增强生成）的框架，通过将结构化的知识图谱与 LLMs 的功能集成，显著减少对 LLMs 潜在知识的依赖，从而提高 LLM 的知识能力。通过使用一种名为 CoE（Chain of Explorations）的算法，利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系，该方法较之前取得了显著减少虚构内容的结果，为发展处理知识密集型任务的智能系统提供了有希望的路径。

    May, 2024

  • ARKS：知识汤中的主动检索用于代码生成

    在本文中，我们介绍了 Active Retrieval in Knowledge Soup（ARKS），这是一种用于代码生成的高级策略，通过积极的检索策略和知识汇集构建，实现了大型语言模型的泛化，对一般化 RACG（retrieval-augmented code generation）流程的构建提供了有益的见解。

    Feb, 2024

  • 自适应 - RAG: 通过问题复杂性学习适应检索增强大型语言模型

    本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

    Mar, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • PaperQA: 科学研究的增强检索生成代理

    使用 PaperQA，通过对科学文献进行信息检索，评估来源和段落的相关性，并利用 RAG 提供答案的方法，超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现，使得该代理模型能够进行大规模、系统化的科学知识处理。

    Dec, 2023