基于模型内部的答案归属为可信检索增强生成

Jun, 2024

基于模型内部的答案归属为可信检索增强生成

Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation

Jirui Qi, Gabriele Sarti, Raquel Fernández, Arianna Bisazza

TL;DR通过模型内部为 RAG 应用进行忠实答案归因的 MIRAGE 方法能够有效确保模型答案的可验证性，并具有与自引相媲美的引用质量和效率，同时还可以更精细地控制归因参数。

Abstract

Ensuring the verifiability of model answers is a fundamental challenge for retrieval-augmented generation (RAG) in the question answering

verifiability model answers retrieval-augmented generation self-citation prompting mirage

发现论文，激发创造

医学领域检索增强生成的基准测试

通过在医学问答数据集上的大规模实验，我们提出了一种基于检索增强生成的评估框架 MIRAGE，以改善大型语言模型在医学领域中的表现，并通过引入 MedRAG 工具包提高了六个不同语言模型的准确性，最高可达到 18%，将 GPT-3.5 和 Mixtral 的性能提升至 GPT-4 级别。

Feb, 2024

从 RAG 到丰富参数：探索语言模型如何利用外部知识和参数信息来处理事实查询

检视检索增强生成 (RAG) 方法，揭示语言模型倾向于仅依赖上下文信息来回答问题，而较少使用参数化记忆，通过因果中介分析和注意力机制等方法来证明该机械行为。

Jun, 2024

IM-RAG: 内心独白学习的多轮检索增强生成

通过集成 IR 系统与 LLMs 来支持多轮 RAG，提出了一种新的 LLM 中心方法 IM-RAG，优化通过强化学习和监督微调，实现在 HotPotQA 数据集上达到最先进性能的同时提供高度可灵活性的 IR 模块集成和学习的内部独白解释性。

May, 2024

PaperQA: 科学研究的增强检索生成代理

使用 PaperQA，通过对科学文献进行信息检索，评估来源和段落的相关性，并利用 RAG 提供答案的方法，超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现，使得该代理模型能够进行大规模、系统化的科学知识处理。

Dec, 2023

检索遇见推理：即使高中教科书知识也有益于多模态推理

通过引入一种名为 RMR 的新型多模式 RAG 框架，本研究在多模式视觉语言模型中整合了基于检索的答案生成和推理能力，并通过提供相关问答对进行训练来显著提高各种基准数据集上的性能，凸显该框架在改善视觉语言模型的推理能力方面潜力巨大。

May, 2024

MuRAG: 图像和文本开放式问答的多模式检索增强生成器

MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

Oct, 2022

自我反思：学习通过检索、生成和评论

通过检索和自我反思，Self-RAG 框架提高了语言模型的质量和准确性，在多样任务中显著优于其他模型。

Oct, 2023

工具呼叫：通过检索增强大型语言模型提升药物咨询

基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

Apr, 2024

大语言模型的检索增强生成：综述

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

检索增强生成以改善数学问答：关于实际性和人类偏好之间的权衡

为了中学数学学生，与导师进行互动式问答是一种有效的学习方式，尤其在数学概念的概念讨论方面，使用生成式大语言模型（LLMs）自动化部分辅导过程，结合检索增强生成（RAG）系统，从高质量开源数学教材中检索和使用内容来生成辅导的回答对于中学代数和几何问题解答得到了积极评价，但需考虑学生所偏好的回答和与特定教育资源相匹配回答之间的平衡。

Oct, 2023