Feb, 2023
深度神经网络训练的下一词预测中自发出现的词类表示
Word class representations spontaneously emerge in a deep neural network trained on next word prediction
Kishore Surendra, Achim Schilling, Paul Stoewer, Andreas Maier, Patrick Krauss
TL;DR探讨了人类语言习得中词汇分类的起源是基于先天内在结构还是出于自然学习的能力，利用人工神经网络预测语句中下一个词，揭示了也许由于预测编码和过程，大脑也可能形成抽象的词汇分类，即使其在训练时没有接收到有关词汇分类或语法规则的任何明确信息。