基于 ROUGE、BLEU、METEOR 分数和余弦相似度的衡量标准，我们对 GPT-J-6B、OPT-6.7B、LlaMA、LlaMA-2 这几种语言模型的 RAG 和 FN 技术的性能进行了比较和分析，结果表明 RAG 基于构造的模型较 FN 更有效。我们进一步指出 RAG 和 FN 的连接并不简单，因为将 FN 模型与 RAG 相连会导致性能下降。此外，我们提出了一种简单的基于 RAG 的架构，平均而言在 ROGUE 评分上比 FN 模型高出 16%，在 BLEU 评分上高出 15%，在余弦相似度上高出 53%。这显示了 RAG 相比 FN 在幻觉方面的显著优势，而 FN 模型的平均 8% 更好的 METEOR 分数则表明其与 RAG 相比具有更高的创造力。

Mar, 2024

通过检索增强生成（RAG）和精调（FT）方法来定制大型语言模型（LLM），以应对低频实体的问答任务，结果表明，FT 显著提升性能，尤其在最受欢迎和最不受欢迎的实体组中，而 RAG 优于其他方法。

Mar, 2024

在本文中，我们提出了一种用于 fine-tuning 和 RAG 的流程，并介绍了它们在多种流行的 LLMs 中的权衡。我们对农业数据集进行了深入研究，结果显示我们的数据集生成流程在捕捉特定地理知识方面的有效性以及 RAG 和 fine-tuning 的定量和定性优势。整体而言，结果表明通过使用 LLMs 构建的系统可以适应和整合特定行业关键维度上的知识，为其他工业领域进一步应用 LLMs 铺平了道路。

Jan, 2024

基于 GPT-3.5 的多源检索框架（MSRAG）实现了检索增强生成技术（RAG）的改进，提高了问答系统的效率和准确性。

May, 2024

本研究通过引入一种新的优化技术（称为 GGPP），系统评估了在 Retrieval-Augmented Generation 模型上插入前缀对输出结果的影响，并通过神经元激活差异提供了一种改善该模型的鲁棒性的方法。

Feb, 2024

大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

Jan, 2024

探索一种以维基百科作为参数内存和通过神经检索器访问的显式非参数内存的 pre-trained 具有差异访问机制的 RAG 模型，它可用于在广泛的与知识有关的 NLP 任务中取得 state-of-the-art 的表现。

May, 2020

Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

Apr, 2024

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

May, 2024