Mar, 2024
PipeRAG: 通过算法系统协同进行快速检索增强生成
PipeRAG: Fast Retrieval-Augmented Generation via Algorithm-System Co-design
Wenqi Jiang, Shuai Zhang, Boran Han, Jie Wang, Bernie Wang...
TL;DR通过引入 PipeRAG 算法,结合管道并行处理、灵活的检索间隔和性能模型自动平衡检索质量和延迟,可以在减少生成延迟的同时提高生成质量,为未来的 RAG 系统的采用铺平了道路。