Nov, 2023
论检索增强和语言模型训练的局限性
On Retrieval Augmentation and the Limitations of Language Model Training
Ting-Rui Chiang, Xinyan Velocity Yu, Joshua Robinson, Ollie Liu, Isabelle Lee...
TL;DR这项研究探讨了将 kNN 检索应用于 GPT-2 117M 等传统语言模型中,以提高性能,证实了通过这种方法可以降低困惑度,并解释了这一现象的潜在原因。