Dec, 2022
人类与语言模型的语用语言理解的精细比较
A fine-grained comparison of pragmatic language understanding in humans and language models
Jennifer Hu, Sammy Floyd, Olessia Jouravlev, Evelina Fedorenko, Edward Gibson
TL;DR本文通过在英语材料的专家评估集上进行零 - shot 提示,进行了人类和语言模型在七个语用现象上的精细比较,发现最大的模型可以实现高精度和匹配人类错误模式,同时发现证据表明模型和人类对相似的语言提示敏感,旨在探讨人类语用处理机制和语言模型之间的关系。