揭示和缓解检索增强的大规模语言模型中的检索器不一致性

ACLMay, 2024

揭示和缓解检索增强的大规模语言模型中的检索器不一致性

Unraveling and Mitigating Retriever Inconsistencies in Retrieval-Augmented Large Language Models

Mingda Li, Xinyu Li, Yifan Chen, Wenfeng Xuan, Weinan Zhang

TL;DR综合检索增强的大型语言模型，在研究表明事实性方面较优越，但并不始终优于原始的无检索语言模型。我们的实验揭示了这种例级性能不一致不仅存在于检索增强和无检索语言模型之间，而且在不同的检索器之间也存在。为了理解这一现象，我们对综合检索增强的大型语言模型进行了退化行为研究，并在理论上将其分解为四个类别。根据我们的分解进一步分析表明，知识源的固有差异和读者模型的不可预测的退化对这种不一致性起到了主要贡献。根据我们的分析，我们引入了可训练的综合检索器框架（EoR），该框架可以从不同的知识源自适应地检索，并且可以有效地减少不可预测的读者错误。我们在开放域问题回答方面的实验证明，EoR 显著改善了单个检索器的 RALM 的性能，并大幅减少了不一致的行为。

Abstract

Although retrieval-augmented large language models (RALMs) demonstrate their superiority in terms of factuality, they do not consistently outperform the original retrieval-free Language Models (LMs). Our experiments reveal that this example-level →

retrieval-augmented large language models performance inconsistency degeneration behavior ensemble of retrievers open domain question answering

发现论文，激发创造

提升检索增强语言模型对无关背景的鲁棒性

使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

Oct, 2023

RAG 与 RAU: 自然语言处理中检索增强语言模型的综述

大型语言模型与检索增强语言模型结合，提供了一个全面的概述，探讨了它们的范式、演化、分类和应用，以及其中关键组件如检索器、语言模型和增强部分，同时讨论了其在多个任务中的效用和评估方法，以及未来研究的方向。

Apr, 2024

增强检索辅助语言模型的双阶段一致性学习压缩器

该论文提出了一种新颖的两阶段一致性学习方法，用于改进检索增强语言模型的性能，通过整合一致性学习，目标是生成与教师模型的语义表示保持一致并提高对原始检索文档的忠实程度的摘要，经过多个数据集的经验证明，在问答任务中具有显著的精确性和效率提升，优于现有的基线模型，并展示了在检索增强生成框架中结合对比学习和一致性学习范式的协同效应。

Jun, 2024

评估检索增强型大型语言模型在科学文件推理中的有效性

本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

Nov, 2023

Retriever-Augmented 语言模型能进行推理吗？Retriever 和语言模型之间的责任博弈

该论文研究了不同的检索增强语言模型，如 REALM、kNN-LM、FiD、ATLAS 和 Flan-T5，分析了这些模型在不同任务的文档推理中的优缺点，了解了这些模型在推理失误的情况下，检索器模块以及语言模型是如何根源于推理失误的。

Dec, 2022

可靠、适应性强、可归因的检索式语言模型

通过在推理过程中引入大规模数据存储，检索增强的语言模型（retrieval-augmented LMs）可以更可靠、适应性更强且更具可追溯性，然而目前在超越知识密集型任务（如问答）以外的领域，检索增强的语言模型尚未被广泛采用，这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。

Mar, 2024

在生物医学 NLP 中对检索增强的大型语言模型进行基准测试：应用、稳健性和自我意识

本文通过系统调查研究，评估了检索增强型大型语言模型在 5 个不同的生物医学任务（三元组抽取、链接预测、分类、问题回答和自然语言推理）中的影响，并在医学领域建立了四个不同的测试组，测试了三个代表性的大型语言模型与三个不同的检索器在 9 个数据集上的性能。

May, 2024

RaLLe: 发展和评估检索增强的大型语言模型的框架

R-LLMs improve factual question-answering by combining pre-trained large language models with retrieval systems; RaLLe is an open-source framework that facilitates the development, evaluation, and optimization of R-LLMs for knowledge-intensive tasks, enhancing performance and accuracy.

Aug, 2023

RRAML: 强化检索增强机器学习

通过提出一种名为增强检索增强机器学习（RRAML）的新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。

Jul, 2023

检索重构：大规模语言模型推理

本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

Dec, 2022