通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

Jan, 2024

检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架RAGGED下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器-解码器和仅解码器架构中表现优异的LMs。研究结果显示，不同的模型适用于不同的RAG配置，而编码器-解码器模型在使用更多文档时呈现出单调改进，而仅解码器模型只能有效使用小于5个文档，尽管其上下文窗口通常更长。此外，RAGGED还揭示了LMs的上下文利用习惯，其中编码器-解码器模型更依赖上下文，并且对于检索质量更为敏感，而仅解码器模型则更倾向于依赖训练中记忆的知识。

Mar, 2024

Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

Apr, 2024

大型语言模型（LLM）的记忆扩展常常通过检索增强的生成（RAG）实现，该方法将来自更大记忆的文本插入LLM的上下文窗口。我们提出了一种基于相关信息增益的新型简单优化指标，通过优化这个指标，多样性自然地从我们的系统中出现。当用作RAG系统的检索组件的替代品时，这种方法在检索增强生成基准（RGB）的问答任务中展现出了最先进的性能，超过了直接优化相关性和多样性的现有指标。

Jul, 2024

本研究解决了检索增强生成（RAG）系统中上下文窗口大小对生成质量的影响这一问题。通过系统实验，我们提出了一个新的超参数——上下文窗口利用，以优化文本块大小，平衡上下文信息的充分性与无关信息的最小化。研究结果表明，选择合适的文本块大小可以显著提升RAG系统的性能。

Jul, 2024

本研究解决了现有检索增强生成系统在成本和有效性方面的重大挑战。提出的FlexRAG方法通过将检索到的上下文压缩为紧凑的嵌入，优化了下游RAG性能，从而提升了生成质量并显著降低了运行成本。我们的实验验证了FlexRAG在多种问答数据集上的有效性，证明其为RAG系统提供了一种成本效益高且灵活的解决方案。

Sep, 2024

本研究主要解决大型语言模型（LLMs）在生成内容时面临的幻觉、知识陈旧和推理不清等问题。通过检索增强生成（RAG）技术，结合LLMs的内在知识与外部数据库，本文提出了一种新的上下文压缩范式，并分析其演变和当前挑战，为未来的研究方向指明了道路。

Sep, 2024

本研究针对知识密集型任务，探讨了在检索增强生成（RAG）过程中，推理计算扩展如何有效利用外部知识。通过研究上下文学习和迭代提示两种策略，我们发现最优配置的推理计算可以实现RAG性能的近线性提升，显示出显著的性能增益和计算分配的潜力。

Oct, 2024

本研究解决了当前长上下文大型语言模型在检索增强生成中处理长输入时的表现问题，特别是检索到的“困难负样本”对生成质量的负面影响。文章提出了无训练和有训练的优化方法，尤其是检索重新排序和专门的模型微调，显著提升了生成性能。研究结果表明，合理处理检索信息可有效提升生成输出的质量。

Oct, 2024

本研究解决了当前检索增强生成（RAG）系统在处理检索文档块时高计算量和延迟的问题。提出的TurboRAG系统通过离线预计算和存储文档的键值（KV）缓存，从而消除了在线推理中的KV缓存计算，显著减少了首次标记的时间延迟，同时保持了模型的精度。实验结果表明，TurboRAG在多个基准测试中将TTFT减少了最高9.4倍，平均减少了8.6倍，与传统RAG系统相比，性能相当。

Oct, 2024