Sep, 2023
BAMBOO：评估大型语言模型的长文本建模能力的综合基准
BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models
Zican Dong, Tianyi Tang, Junyi Li, Wayne Xin Zhao, Ji-Rong Wen
TL;DR多个研究已致力于扩展 LLMs 的上下文长度和增强其对长文本建模的能力。本文提出了 BAMBOO，一个多任务长上下文基准，并使用 10 个数据集从 5 个不同的长文本理解任务对 LLMs 进行全面评估，涵盖了核心能力和各个领域。通过在 BAMBOO 上进行实验，我们对五个长上下文模型进行了讨论，提出了四个关键的研究问题，并对当前的长上下文模型进行了质量分析，指出了增强长文本建模能力的未来方向。