在传统的 RAG 框架中，检索单元通常很短，而我们提出的 LongRAG 框架则将整个维基百科以 4K-token 为单位处理，通过增加单元大小和减少总单元数量，降低了检索器的负担，并在没有任何训练的情况下实现了最佳结果，这为将 RAG 与长文本语言模型相结合的未来发展提供了启示。

Jun, 2024

通过研究使用两种最先进的预训练大型语言模型进行检索增强和长上下文窗口的解决方案，我们发现使用简单的检索增强在生成时可以实现与微调后的具有 16K 上下文窗口通过位置插值在长上下文任务上具有可比性能的 4K 上下文窗口的大型语言模型，而计算量较小。此外，我们证明检索可以显著提高大型语言模型的性能，而不受其扩展上下文窗口大小的限制。我们的最佳模型，检索增强的 32K 上下文窗口的 LLaMA2-70B，在 7 个长上下文任务中，包括问答和基于查询的摘要，的平均得分方面优于 GPT-3.5-turbo-16k 和 Davinci003。它还在生成速度上优于其非检索的 LLaMA2-70B-32k 基线。我们的研究为从业者提供了关于选择检索增强与扩展大型语言模型的长上下文的一般见解。

Oct, 2023

通过利用知识图谱缓解信息过载问题，本研究提出了一种新的信息检索方法，其检索性能在精确度和召回率两方面约为嵌入相似性方法的两倍，并且证明了嵌入相似性和知识图谱检索方法可以有益地结合成一个混合模型，优于两者，从而能够对生物医学问答模型进行潜在改进。

Feb, 2024

基于长上下文语言模型（LCLMs）的 LOFT 基准评估了 LCLMs 在上下文检索和推理方面的性能，发现它们能与最先进的检索系统和 RAG 系统媲美，但在像 SQL 一样需要组合推理的领域仍存在挑战，提示着需要继续研究随着上下文长度增长时的提示策略的影响。LOFT 为 LCLMs 提供了严格的测试平台，展示了随着模型能力的扩展，它们取代现有范式并解决新任务的潜力。

Jun, 2024

我们提出了 MemWalker，这是一种将长上下文处理成摘要节点树的方法，模型通过迭代提示的方式导航该树以寻找相关信息并一旦收集足够信息便回答问题，在长文本问答任务上，我们方法的性能优于使用长上下文窗口、重复和检索的基线方法。通过交互式阅读文本，MemWalker 还提升了解释能力，突出了推理步骤，并准确指出与查询相关的文本片段。

Oct, 2023

利用上下文调整的检索增强生成模型可以通过智能上下文检索系统获取相关信息，从而提高工具检索和计划生成的准确性。其中，语义搜索在不完整或缺乏上下文的情况下容易失效。经验证明，上下文调整显著提高了语义搜索的性能，并且对于上下文检索和工具检索任务分别实现了 3.5 倍和 1.5 倍的提升，同时使基于 LLM 的计划生成的准确性增加了 11.6％。此外，在使用倒数排名融合（RRF）和 LambdaMART 的轻量级模型时，还观察到了计划生成阶段的上下文增强可以减少虚构现象。

Dec, 2023

通过引入 AMR 改进 RAG，提出了一个基于概念的 RAG 框架，并使用 AMR 基于概念提炼算法，将检索到的文档压缩成关键概念集，以过滤干扰信息，从而增强推理性能。

May, 2024

用于多跳问题回答的检索增强模型编辑框架（RAE）利用相互信息最大化的检索方法和修剪策略来提供精确的答案和更新的知识。

Mar, 2024

该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

Feb, 2024

通过引入稀疏技术，Sparse RAG 提出了一种新颖的范式，在提高生成质量的同时减少计算成本，通过并行编码检索文档并选择性地解码输出，既降低了延迟，又提升了模型的焦点和生成质量。

May, 2024