Nov, 2023
何时出现情境学习的短板以及原因?针对规约密集任务的研究
When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks
Hao Peng, Xiaozhi Wang, Jianhui Chen, Weikai Li, Yunjia Qi...
TL;DR通过对 18 个字段密集型任务进行全面实验,我们发现,针对这些任务,大规模语言模型在使用上下文学习的方法上存在三个主要问题:无法准确理解上下文、与人类任务模式理解不匹配、对长文本理解能力不足。然而,通过微调,大规模语言模型能够在这些任务上取得不错的表现,表明上下文学习的失败并非大规模语言模型本身的固有缺陷,而是现有对齐方法的局限性导致大规模语言模型无法通过上下文学习来处理这些复杂任务。我们希望本文的分析结果能促进对齐方法的发展,使大规模语言模型能够满足更加复杂的人类需求。