Feb, 2024

FeB4RAG: 在检索增强生成的背景下评估联合搜索

PDF
TL;DR对于 RAG 框架中的联邦搜索，我们提出了 FeB4RAG 数据集，它是一个新颖的数据集，专门为联邦搜索而设计，包括 790 个针对聊天机器人应用的信息请求以及与每个资源返回的排名前几个结果和相关的 LLM 推导的相关性判断。通过定性的并排比较，我们演示了高质量联邦搜索系统对于 RAG 中响应生成的影响，相比于简单的联邦搜索方法。
federated search systemsretrieval-augmented generation (rag)feb4rag datasetinformation retrieval challengeschatbot applications
发现论文，激发创造
  • 检索增强生成模型评估：一项调查

    Retrieval-Augmented Generation (RAG) 系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析 RAG 系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

    May, 2024

  • RAG-Fusion：一种新的基于检索增强生成的方法

    通过评估新兴的 RAG-Fusion 方法，本研究发现 RAG-Fusion 通过生成多个查询、使用互惠评分对其进行重新排名并融合文档和得分，从多个角度对原始查询进行了上下文化，使其能够提供准确和全面的答案。然而，在生成查询与原始查询关联度不足时，部分答案可能偏离主题。该研究在人工智能和自然语言处理应用中取得了重大进展，并展示了全球和多行业背景下的转变。

    Jan, 2024

  • 混合 RAG：通过语义搜索和混合基于查询的检索器提高 RAG（召回增强生成）的准确性

    基于 Retrieval-Augmented Generation (RAG) 方法，结合语义搜索技术，如稠密向量索引和稀疏编码器索引，以及混合查询策略，我们提出了 ' 混合 RAG' 方法。通过在 IR 数据集和 Generative Q&A 数据集上取得更好的检索结果并创造新的基准，我们进一步将这种 ' 混合 Retriever' 扩展到 RAG 系统，甚至超过 fine-tuning 性能。

    Mar, 2024

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • RichRAG：在检索增强生成中为多方面查询创建丰富的回复

    为了解决用户在发出宽泛、开放式的查询时得到丰富的、多方面的回复的问题，我们提出了一种新颖的检索增强生成框架 ——RichRAG。该框架包括一个子方面探索器，用于识别问题中的潜在子方面；一个多方面检索器，用于构建与这些子方面相关的多样化外部文档的候选池；以及一个生成型列表排序器，它是为最终生成器提供前 k 个最有价值的文档的关键模块。经过实验证明，我们的框架能够有效、高效地为用户提供全面且满意的回复。

    Jun, 2024

  • 面向机器的搜索引擎：统一排名的多重增强大型语言模型检索

    该论文介绍了 uRAG 框架，它具有一个统一的检索引擎，为多个下游的检索增强生成（RAG）系统提供服务。我们介绍了一种通用的训练指南，用于规范搜索引擎与下游 RAG 系统之间的通信，从而为我们构建一个大规模的实验生态系统奠定基础，该生态系统包括 18 个参与训练的 RAG 系统和 18 个使用 uRAG 作为新用户的未知 RAG 系统。利用这个实验生态系统，我们回答了一些基本的研究问题，以改善我们对为机器开发搜索引擎的承诺和挑战的理解。

    Apr, 2024

  • 基于 RAG 的多源检索问答框架

    基于 GPT-3.5 的多源检索框架（MSRAG）实现了检索增强生成技术（RAG）的改进，提高了问答系统的效率和准确性。

    May, 2024

  • RAG 不适用于企业

    通过结合知识检索，改进大型语言模型的输出的准确性和相关性的检索增强生成（RAG）在企业中的实施面临数据安全、准确性、可扩展性和集成方面的挑战。本文探讨了企业 RAG 的独特需求，调查了当前方法和限制，并讨论了语义搜索、混合查询和优化检索的潜在进展。它提出了一个评估框架，以验证企业 RAG 解决方案的能力，包括定量测试、定性分析、消融研究和行业案例研究。该框架旨在帮助证明面向企业级安全、合规性和集成性能够提供准确性和相关性改进的目的构建的 RAG 架构的能力。本文总结了企业部署的含义、限制和未来研究方向。研究人员与行业合作伙伴之间的密切合作可能加速检索增强生成技术的开发和部署的进展。

    May, 2024

  • 利用检索增强生成（RAG）揭示知识缺口

    利用检索增强生成（RAG）模型揭示互联网上的知识空白的方法论，并通过模拟用户搜索行为，RAG 系统识别和解决信息检索系统中的空白。该研究展示了 RAG 系统在生成相关建议方面的有效性，准确率达到 93％。该方法可以应用于科学发现、教育增强、研究发展、市场分析、搜索引擎优化和内容开发等各个领域。研究结果突出了识别和理解知识空白以指导未来努力的价值。

    Dec, 2023

  • DuetRAG: 协作检索增强生成

    提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG，以同时整合领域微调和 RAG 模型，提高知识检索质量，从而提高生成质量。最后，在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。

    May, 2024