Jun, 2024
Refiner》: 提高问答能力的检索内容重构方法
$\textit{Refiner}$: Restructure Retrieval Content Efficiently to Advance
Question-Answering Capabilities
TL;DR大型语言模型（LLMs）在知识广泛的任务中受到参数知识的限制，从而导致幻觉现象。为了解决这个问题，检索增强生成（RAG）通过引入外部文档片段来扩展LLM的知识。此外，通过提取或总结文档片段中的信息可以改善LLM的性能。然而，LLMs仍然难以察觉和利用分散的关键信息，这被称为“中间丢失”综合症。因此，我们通常需要重构内容以便LLM能够识别关键信息。我们提出了一种名为“Refiner”的端到端提取和重构方法，它在RAG的后检索过程中运行。Refiner利用一个单独的仅解码LLM，根据其相互连通性适应性地提取查询相关内容以及必要上下文，并将它们分割成部分，从而突出信息的区别，并有效地将下游LLMs与原始上下文对齐。实验证明，经过训练的Refiner（具有7B个参数）在提高回答准确性方面对下游LLM有显著的增益，并在各种单跳和多跳QA任务中优于其他最先进的RAG和并发压缩方法。值得注意的是，与最佳解决方案相比，Refiner在多跳任务中实现了80.5％的标记减少和1.6-7.0％的改进边际。Refiner是一种即插即用的解决方案，可以与RAG系统无缝集成，便于在各种开源框架中应用。