Jul, 2024
KV 缓存压缩,我们必须拿什么作为交换?长上下文能力方法的全面基准测试
KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches
Jiayi Yuan, Hongyi Liu, Shaochen, Zhong, Yu-Neng Chuang...
TL;DR大语言模型的长上下文能力是其关键能力之一,本研究填补了现有方法的空白,并评估了 10 多种最新方法在长上下文任务领域的表现,揭示了许多以前未知的现象,为未来长上下文能力大语言模型的发展提供了洞见和工作平台。