Jun, 2024

信任与准确性的故事：基础 vs. 指导 LLMs 在RAG系统中

HTML
PDF
TL;DR检索增强生成（RAG）是人工智能领域的重大进展，它将检索阶段与生成阶段相结合，后者通常由大型语言模型（LLMs）驱动。与常见做法相反，我们的研究表明，在我们的实验设置下，基础模型在RAG任务中表现比指导模型平均提高了20％。这一发现挑战了人们对于指导型LLMs在RAG应用中卓越性的普遍观点。进一步的调查揭示了更加微妙的情况，对RAG的基本方面提出了疑问，并提出了有关这一主题的更广泛讨论的需要。
发现论文，激发创造
  • 增强LLM智能:借助ARM-RAG进行辅助理由记忆以提高检索增强生成

    本文介绍了通过使用Retrieval Augmented Generation（RAG）来改善问题求解性能的ARM-RAG（Auxiliary Rationale Memory for Retrieval Augmented Generation）系统，并展示了存储和检索推理链对于小学数学问题的性能具有积极影响。

    Nov, 2023

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的RAG策略，用于布尔代理RAG设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 利用RAG提高LLM事实准确性以应对幻觉：私有知识库中领域特定查询的案例研究

    我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将RAG流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自CMU广泛资源并以教师模型进行注释的策划数据集对模型进行微调，解决了LLM产生的幻觉挑战。我们的实验表明该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用规模较小和偏斜的数据集进行微调LLM的限制。这项研究突出了RAG系统在增强LLMs表现方面的潜力在知识密集型任务中。我们的代码和模型可在Github上找到。

    Mar, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 评估先进大型语言模型技术在机器人课程中的人工智能讲师的影响

    本研究评估了大型语言模型（LLMs）在大学课程中作为人工智能讲师的表现，尤其是通过使用提示工程、检索增强生成（RAG）和微调等先进技术。研究发现，RAG结合提示工程显著提高了模型的回复质量，并产生了更好的事实性答案，为教育领域的技术集成提供了潜在的解决方案。

    Aug, 2024

  • 检索增强生成系统的可信性研究

    本研究针对检索增强生成(RAG)系统的可信性问题进行探讨，这是一项在大型语言模型(LLMs)发展中日益重要的研究领域。我们提出了一个统一框架，从事实性、鲁棒性、公平性、透明性、问责性和隐私六个维度评估RAG系统的可信性，并通过文献回顾和基准评估，为提高RAG系统在实际应用中的可信性提供了实用见解和未来研究的挑战。

    Sep, 2024

  • 通过基础归属和拒绝学习来测量和提升RAG中大型语言模型的可信度

    本研究针对检索增强生成（RAG）系统中大型语言模型（LLMs）的适用性缺乏研究的空白，提出了一种新的指标“信任评分”，以全面评估LLMs的可信度。文章提出的“信任对齐”框架能有效提升LLMs的信任评分，经过对比，使用该方法对齐的LLaMA-3-8b在多个任务上显著超越同类开源模型。

    Sep, 2024

  • 长上下文大型语言模型与检索增强生成：克服长输入在检索增强生成中的挑战

    本研究解决了当前长上下文大型语言模型在检索增强生成中处理长输入时的表现问题，特别是检索到的“困难负样本”对生成质量的负面影响。文章提出了无训练和有训练的优化方法，尤其是检索重新排序和专门的模型微调，显著提升了生成性能。研究结果表明，合理处理检索信息可有效提升生成输出的质量。

    Oct, 2024

  • 揭示和咨询基于检索增强的专家团(LM)的核心专家

    本研究解决了现有检索增强生成系统在大型语言模型内在机制方面的知识缺口。通过分析专家激活，我们发现多个核心专家在检索增强行为中起着关键作用，并提出了优化检索增强效率的新策略。这些发现可显著提升语言模型在处理知识密集任务时的表现。

    Oct, 2024