Feb, 2024
大规模语言模型的无监督信息精炼训练用于检索增强生成
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation
Shicheng Xu, Liang Pang, Mo Yu, Fandong Meng, Huawei Shen...
TL;DR提出了一种名为 InFO-RAG 的信息优化训练方法,通过优化大语言模型在检索增强生成中的作用,实现了对输入的检索文本进行信息精简,提高了生成的文本的准确性、完整性和简洁性,相对于 LLaMA2 平均提升 9.39% 的性能,并展现了在上下文学习和鲁棒性方面的优势。