通过检索和自我反思，Self-RAG框架提高了语言模型的质量和准确性，在多样任务中显著优于其他模型。

Oct, 2023

比较fine-tuning和retrieval-augmented generation (RAG)两种方法，发现RAG在不同主题的知识密集型任务中始终优于fine-tuning，并且LLMs在fine-tuning中难以学习新的事实信息，通过在训练过程中暴露它们于相同事实的多个变体可以缓解这个问题。

Dec, 2023

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将RAG流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自CMU广泛资源并以教师模型进行注释的策划数据集对模型进行微调，解决了LLM产生的幻觉挑战。我们的实验表明该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用规模较小和偏斜的数据集进行微调LLM的限制。这项研究突出了RAG系统在增强LLMs表现方面的潜力在知识密集型任务中。我们的代码和模型可在Github上找到。

Mar, 2024

通过真实冲突文档更新错误的派生参数知识来研究知识冲突，结果显示模型的正确派生参数知识对其阅读能力和行为产生负面影响。

Apr, 2024

本研究针对大型语言模型（LLMs）在生成响应时的上下文忠实性进行调查，填补了此前研究的 gaps。我们提出了一种量化 LLM 记忆强度的方法，并评估了证据呈现风格对其影响。研究发现，对于高记忆强度的问题，LLMs 更倾向于依赖内部记忆，而呈现不同风格的证据能显著提高其接受度。

Sep, 2024

本研究解决了检索增强生成（RAG）中不完善检索导致知识冲突和信息不可靠的问题。提出的精明RAG方法通过从内部知识中自适应提取关键信息，并在后期整合内部和外部知识，显著提高了模型的鲁棒性和可靠性。实验结果显示，精明RAG在最坏情况下的表现超过了现有的RAG方法，改善了系统的可信度和稳健性。

Oct, 2024

本研究解决了当前长上下文大型语言模型在检索增强生成中处理长输入时的表现问题，特别是检索到的“困难负样本”对生成质量的负面影响。文章提出了无训练和有训练的优化方法，尤其是检索重新排序和专门的模型微调，显著提升了生成性能。研究结果表明，合理处理检索信息可有效提升生成输出的质量。

Oct, 2024

本文探讨了大型语言模型（LLMs）在逆转诅咒问题上的表现，揭示了其在一般化能力和问题解决机制方面的局限。研究发现，LLMs在特定结构的事实下能够进行有效的一般化，而训练过程中固有的偏差对模型的下游表现有显著负面影响。通过这些研究，提供了对LLMs学习方法的新见解。

Oct, 2024

本研究解决了大型语言模型（LLMs）在检索增强生成（RAG）框架中偏见评估的知识空白。通过模拟RAG的两个关键阶段，研究发现与以往结果不同，LLMs在RAG框架中没有显著的自我偏好效应，而是证明了事实准确性在模型输出中具有重要影响。这一发现有助于推动对LLMs偏见的理解，并为开发更鲁棒的LLM系统提供了启示。

Oct, 2024