Jun, 2024

信任与准确性的故事：基础 vs. 指导 LLMs 在 RAG 系统中

PDF
TL;DR检索增强生成（RAG）是人工智能领域的重大进展，它将检索阶段与生成阶段相结合，后者通常由大型语言模型（LLMs）驱动。与常见做法相反，我们的研究表明，在我们的实验设置下，基础模型在 RAG 任务中表现比指导模型平均提高了 20％。这一发现挑战了人们对于指导型 LLMs 在 RAG 应用中卓越性的普遍观点。进一步的调查揭示了更加微妙的情况，对 RAG 的基本方面提出了疑问，并提出了有关这一主题的更广泛讨论的需要。
发现论文，激发创造
  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 大规模语言模型的无监督信息精炼训练用于检索增强生成

    提出了一种名为 InFO-RAG 的信息优化训练方法，通过优化大语言模型在检索增强生成中的作用，实现了对输入的检索文本进行信息精简，提高了生成的文本的准确性、完整性和简洁性，相对于 LLaMA2 平均提升 9.39% 的性能，并展现了在上下文学习和鲁棒性方面的优势。

    Feb, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • T-RAG: LLM 战壕中的教训

    构建一个基于 RAG 的 LLM 应用程序，Tree-RAG 使用树结构表示组织中的实体层级，并生成文字描述以增强响应用户查询的上下文。

    Feb, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • RankRAG: 在 LLMs 中统一上下文排序与检索增强生成

    大规模语言模型通过 RankRAG 提出的新型指令微调框架，在检索增强生成中实现了上下文排序和答案生成的双重目的，并在多个基准测试中表现出色。

    Jul, 2024

  • ERATTA：基于大型语言模型的表格问答极端阅读简化

    我们提出了一种基于大型语言模型的系统，可以通过多个大型语言模型从各种规模大的企业级数据产品中提取信息，并在 10 秒内提供实时响应，同时提出了一个得分模块来检测和报告大型语言模型响应中的幻觉。在可持续发展、财务健康和社交媒体领域的数百个用户查询中，我们的系统和评分指标实现了超过 90% 的置信分数。

    May, 2024

  • 自我反思：学习通过检索、生成和评论

    通过检索和自我反思，Self-RAG 框架提高了语言模型的质量和准确性，在多样任务中显著优于其他模型。

    Oct, 2023

  • 噪声的力量：为 RAG 系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024