Jun, 2024

DIRAS：检索增强生成中高效的 LLM 辅助文档相关性标注

PDF
TL;DR本文提出了 DIRAS（Domain-specific Information Retrieval Annotation with Scalability）方法，通过细调开源 LLMs 来使用校准的相关性概率注释相关标签，实现了 GPT-4 级别的模型性能，对于实际的 RAG 开发具有帮助。
retrieval augmented generationinformation retrievalbenchmarkannotationrelevance labels
发现论文，激发创造
  • DR-RAG: 将动态文档相关性应用于检索增强问答生成

    通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中，提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation （DR-RAG）的两阶段检索框架，用于改善文档检索的召回率和答案的准确性，同时保持高效性，通过对检索到的文档的贡献进行分类确定相对相关的文档，实验证明 DR-RAG 能显著提高答案的准确性，并在 QA 系统方面取得新的进展。

    Jun, 2024

  • REAR：一种针对开放领域的问题回答的关联感知检索增强框架

    本文提出了 REAR，这是一种适用于开放领域问答的关联感知检索增强方法，通过在大型语言模型中引入一个能够准确评估检索文档相关性的排名头，以及通过双粒度相关融合和抗干扰训练的改进方法进行训练，REAR 能够更好地利用外部知识并在四个开放领域问答任务中显著优于其他竞争性的 RAG 方法。

    Feb, 2024

  • 提高检索增强生成中的开放领域问答性能和可解释性的相关性评估器

    提出了一种 RE-RAG 框架，通过将显式的上下文相关性估计器（RE）注入到 RAG 系统中，重新评估检索到的上下文，并将更相关的上下文与其重要性量度传递给生成器，从而在不使用标记的文档排名数据训练上下文相关性估计器的情况下，实现与 FiD 变体相当的性能，并改进了 NQ 和 TQA 的性能以及提高了 RE-RAG 的准确性。

    Jun, 2024

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • DuetRAG: 协作检索增强生成

    提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG，以同时整合领域微调和 RAG 模型，提高知识检索质量，从而提高生成质量。最后，在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。

    May, 2024

  • RAGAS: 用于检索增强生成的自动评估

    我们介绍了 RAGAs（检索增强生成评估）框架，用于无参考评估检索增强生成（RAG）流程，并提出一套可以用来评估不同维度的指标，而无需依赖于人工标注的真值，这对于 RAG 体系结构的快速评估是至关重要的，尤其是考虑到 LLMs 的快速采用。

    Sep, 2023

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • ARES：一种用于检索增强生成系统的自动化评估框架

    通过使用综合训练数据，ARES 通过微调轻量级语言模型评估 RAG 组件的质量，在 KILT 和 SuperGLUE 两个领域多任务中准确评估 RAG 系统的有效性。

    Nov, 2023

  • ARAGOG：高级 RAG 输出评分

    整合外部知识到大型语言模型输出，文献调研主要集中于最新方法与之前方法的比较，缺乏广泛的实验比较。本研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响来填补这一空白。研究发现，Hypothetical Document Embedding (HyDE) 和大型语言模型重排能显著提高检索精度。然而，Maximal Marginal Relevance (MMR) 和 Cohere 重排在基线 Naive RAG 系统上没有明显优势，而 Multi-query 方法表现不佳。句窗检索为最有效的检索精度方法，尽管在答案相似性上表现不稳定。研究证实文件摘要索引作为一种有效的检索方法。欢迎学术界进一步探索 RAG 系统的研究，相关资源可通过我们的 GitHub 资源库 ARAGOG 进行进一步调查。

    Apr, 2024

  • 评估检索增强生成的检索质量

    评估检索增强生成（RAG）面临挑战，传统的端到端评估方法计算开销高，我们提出了一种新的评估方法 eRAG，通过使用每个检索列表中的文档，基于下游任务的真实标签评估生成的输出。实验证明 eRAG 与下游 RAG 的性能呈较高相关性，并且具有显著的计算优势。

    Apr, 2024