适应领域特定 RAG 的语言模型 RAF

Mar, 2024

RAFT: Adapting Language Model to Domain Specific RAG

Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia...

TL;DR在这篇论文中，我们提出了一种名为检索增强微调 (RAFT) 的训练方法，它能够提高模型在领域内回答问题的能力，并处理无关文档干扰，从而提升大规模语言模型的性能。

Abstract

Pretraining large language models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained m

large language models retrieval augmented finetuning in-domain settings distractor documents performance improvement

发现论文，激发创造

优化领域聊天机器人的 RAG 强化学习

通过采用基于 RAG 的 RL 优化方法，使用信息熵损失函数构建了一个使用 FAQ 数据回答用户查询的聊天机器人，该模型在检索准确性和领域外查询检测方面表现显著优于通用公开嵌入模型，同时能实现成本节省和细微的准确性改善。

Jan, 2024

DomainRAG: 用于评估领域特定的检索增强生成的中文基准

检验 Retrieval-Augmented Generation （RAG）在特定领域环境中的能力与效果，评估存在的限制并寻求改进的研究。

Jun, 2024

基于 RAG 的金融文件问答模型检索性能改进

通过改进文本检索过程，本文探讨了 RAG 管道的现有限制并引入了提升文本检索的方法，包括先进的文本切块技术、查询扩展、元数据注释的应用、重新排序算法以及嵌入算法的微调。通过实施这些方法可以大幅提高检索质量，从而提升 LLM 在处理和响应查询时的整体效果和可靠性。

Mar, 2024

DuetRAG: 协作检索增强生成

提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG，以同时整合领域微调和 RAG 模型，提高知识检索质量，从而提高生成质量。最后，在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。

May, 2024

RAG 与 Fine-tuning：管道、权衡及农业案例研究

在本文中，我们提出了一种用于 fine-tuning 和 RAG 的流程，并介绍了它们在多种流行的 LLMs 中的权衡。我们对农业数据集进行了深入研究，结果显示我们的数据集生成流程在捕捉特定地理知识方面的有效性以及 RAG 和 fine-tuning 的定量和定性优势。整体而言，结果表明通过使用 LLMs 构建的系统可以适应和整合特定行业关键维度上的知识，为其他工业领域进一步应用 LLMs 铺平了道路。

Jan, 2024

T-RAG: LLM 战壕中的教训

构建一个基于 RAG 的 LLM 应用程序，Tree-RAG 使用树结构表示组织中的实体层级，并生成文字描述以增强响应用户查询的上下文。

Feb, 2024

加强问答系统的领域特定微调和迭代推理：一项比较研究

本文研究了领域特定的模型微调和推理机制对由大型语言模型（LLM）和检索增强生成（RAG）驱动的问答系统的性能的影响。通过使用 FinanceBench SEC 财务报告数据集，我们观察到，对于 RAG，将微调的嵌入模型与微调的 LLM 结合使用可以获得比通用模型更高的准确性，其中微调的嵌入模型所带来的收益相对更大。此外，在 RAG 之上使用推理迭代可以进一步提高性能，使问答系统更接近人类专家水平。我们讨论了这些发现的影响，提出了一个结构化的技术设计空间，涵盖了问答 AI 的主要技术组成部分，并为这些组成部分提供了高影响的技术选择建议。我们计划在本工作的基础上为 AI 团队提供具体指南，并进一步研究 RAG 中领域特定增强以及先进规划和推理等自主 AI 能力的影响。

Apr, 2024

通过合成对比论证的检索增强事实验证

通过对比论证综合检索增强的事实验证 (RAFTS) 方法能有效检索相关文档作为证据，并从不同角度评估论证，结合信息丰富的上下文示例作为先验，能在没有复杂提示的情况下显著改善受监督和 LLB 基线，且在相对较小的 LLB 上表现超过基于 GPT 的方法。

Jun, 2024

大型语言模型的检索增强文本生成综述

Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

Apr, 2024

RaFe：排名反馈改善了 RAG 的查询重写

利用强化学习和公开可用的 reranker 训练的无需注释的查询重写模型，在提升性能方面优于传统方法。

May, 2024