Mar, 2023
ChatGPT 是一个具有知识但缺乏经验的求解器：大型语言模型中常识问题的研究
ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models
Ning Bian, Xianpei Han, Le Sun, Hongyu Lin, Yaojie Lu...
TL;DR研究 LLMs 和 GPTs 在处理常识问题中的表现，实验结果表明：(1) GPTs 在通识任务中可以取得较好的 QA 准确率，但仍然较难处理某些类型的知识。(2) ChatGPT 具有常识知识，可以利用知识提示正确生成大部分常识知识。(3) ChatGPT 是一名经验不丰富的常识问题解决者，不能准确地识别回答一个特定问题所需的常识知识，这需要更好的常识引导机制，如遵循指示、更好的常识引导等。