Jan, 2023
评估基于儿童语言训练的神经网络中的层次泛化能力
How poor is the stimulus? Evaluating hierarchical generalization in neural networks trained on child-directed speech
Aditya Yedetore, Tal Linzen, Robert Frank, R. Thomas McCoy
TL;DR本研究以 LSTMs 和 Transformers 为例子，通过与儿童语言输入类似的数据培训这两种没有分层偏见的神经网络，进而评估它们对英语的 yes/no 问题的理解。研究结果表明，在使用文本自然语言作为语言输入时，这两种模型都更接近于错误的线性规则而非正确的层级规则，推测人类对自然语言的依赖性需要更强的偏见。