BriefGPT.xyz
Jul, 2024
引入RAG的新超参数:上下文窗口利用
Introducing a new hyper-parameter for RAG: Context Window Utilization
HTML
PDF
Kush Juvekar, Anupam Purwar
TL;DR
本研究解决了检索增强生成(RAG)系统中上下文窗口大小对生成质量的影响这一问题。通过系统实验,我们提出了一个新的超参数——上下文窗口利用,以优化文本块大小,平衡上下文信息的充分性与无关信息的最小化。研究结果表明,选择合适的文本块大小可以显著提升RAG系统的性能。
Abstract
This paper introduces a new
hyper-parameter
for
Retrieval-Augmented Generation
(RAG) systems called
context window
Utilization. RAG system
→