通过检索增强生成（RAG）和精调（FT）方法来定制大型语言模型（LLM），以应对低频实体的问答任务，结果表明，FT 显著提升性能，尤其在最受欢迎和最不受欢迎的实体组中，而 RAG 优于其他方法。

Mar, 2024

研究探讨了大型语言模型在细调、提取上下文数据和性能增强方面的影响，以及它们在多个领域的应用情况，并指出了细调模型在特定任务中性能下降的问题。

Jun, 2024

检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

May, 2024

在本文中，我们提出了一种用于 fine-tuning 和 RAG 的流程，并介绍了它们在多种流行的 LLMs 中的权衡。我们对农业数据集进行了深入研究，结果显示我们的数据集生成流程在捕捉特定地理知识方面的有效性以及 RAG 和 fine-tuning 的定量和定性优势。整体而言，结果表明通过使用 LLMs 构建的系统可以适应和整合特定行业关键维度上的知识，为其他工业领域进一步应用 LLMs 铺平了道路。

Jan, 2024

本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

Dec, 2022

使用知识感知微调（KnowTuning）方法解决大型语言模型在自然语言处理任务中的知识感知不足问题，并在通用和医疗问答数据集上进行了广泛的实验证明了其有效性，并展示了其在未知问答数据集上的泛化能力。

Feb, 2024

探索一种以维基百科作为参数内存和通过神经检索器访问的显式非参数内存的 pre-trained 具有差异访问机制的 RAG 模型，它可用于在广泛的与知识有关的 NLP 任务中取得 state-of-the-art 的表现。

May, 2020

使用专有文件和代码从企业存储库中细调 LLMa LLMs，以评估响应质量，同时提供细调 LLM 的实用指导和建议。

Mar, 2024

本文研究了领域特定的模型微调和推理机制对由大型语言模型（LLM）和检索增强生成（RAG）驱动的问答系统的性能的影响。通过使用 FinanceBench SEC 财务报告数据集，我们观察到，对于 RAG，将微调的嵌入模型与微调的 LLM 结合使用可以获得比通用模型更高的准确性，其中微调的嵌入模型所带来的收益相对更大。此外，在 RAG 之上使用推理迭代可以进一步提高性能，使问答系统更接近人类专家水平。我们讨论了这些发现的影响，提出了一个结构化的技术设计空间，涵盖了问答 AI 的主要技术组成部分，并为这些组成部分提供了高影响的技术选择建议。我们计划在本工作的基础上为 AI 团队提供具体指南，并进一步研究 RAG 中领域特定增强以及先进规划和推理等自主 AI 能力的影响。

Apr, 2024

我们提出了一个新的桥接模型，并验证了 RAG 中检索器的排序和选择假设，并提出了一个将监督学习和强化学习连接起来的培训框架，在问答和个性化生成任务中证明了我们方法的有效性。

Jan, 2024