Aug, 2024
多语言大海捞针：研究多语言大规模语言模型的长上下文行为
Multilingual Needle in a Haystack: Investigating Long-Context Behavior
of Multilingual Large Language Models
TL;DR本研究解决了当前大规模语言模型在长多语言上下文处理能力不足的问题，提出了MultiLingual Needle-in-a-Haystack（MLNeedle）测试，评估模型在多语言环境下的信息检索能力。我们的研究发现，模型性能受语言和信息位置影响显著，并揭示了多语言环境中模型长上下文行为的重要见解，为未来的评估方案提供了指导。