BriefGPT.xyz
Dec, 2023
复述原文” 提高了长篇背景问答的准确性
"Paraphrasing The Original Text" Makes High Accuracy Long-Context QA
HTML
PDF
Yijiong Yu
TL;DR
通过有效的训练数据，本研究提出了使用“原始文本改写”任务的低成本有效方法，将现有模型的上下文窗口扩展到32k，从而在多文档问答中实现了极高的准确性，并超越了所有同等规模的现有开源模型。
Abstract
Although
llms
continue to iterate and improve, most
open-source models
still have a
context window
of no more than 4k, limiting their abil
→