Oct, 2023
MAGNIFICo: 评估大型语言模型在上下文学习能力方面对新的解释的泛化能力
MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language
Models to Generalize to Novel Interpretations
TL;DR大型语言模型具有通过上下文学习新的解释能力，但在解释陌生词汇或同时构建多个新解释时需要进一步改进。通过MAGNIFICo评估框架的实验结果显示，LLMs对自然语言描述和长对话中的新解释具有令人惊讶的强大理解能力，同时也揭示了LLMs的语义偏好和长篇上下文中信息呈现的近期偏见的影响。