人工神经网络对人类语言习得的启示
神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管 LM 训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估 LM 语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时，LM 可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集，这些数据集已由大量母语用户进行了梯度可接受性评估，并旨在特别探索语法的结构基础。在这样一种数据集（LI-Adger 数据集）上，LM 在评估句子时与人类语言用户的方式不一致。最后，我们提出了更好地将 LM 与儿童语言习得的实证研究进行联系的建议。
Oct, 2023
通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。
Feb, 2023
语言是理解和交流情境的关键，而语言处理系统使用类似人脑的神经网络以及查询注意力等方法来提高其能力，但当前的模型主要集中在内部语言任务上，限制其理解情境的能力，因此需要未来的模型应用认知神经科学和人工智能来扩展理解任务。
Dec, 2019
通过序列记忆和分块构建的最小认知体系架构用于学习语言，替代了使用深度学习的大型语言模型，并且能够从零开始学习人工语言，并提取支持学习的语法信息。研究表明这种简单的架构的强大性，并强调序列记忆作为语言学习过程的关键组成部分的重要性，这可能解释了仅人类发展了复杂语言的原因。
Feb, 2024
本文研究了神经语言模型的第二语言习得，通过对双语 LM 的训练和分析交叉语言传递，发现在语言迁移配置方面，L1 预训练可以加速 L2 的语言泛化，并且影响泛化的因素非常明显，研究了它们在特定方面的非人类的 L2 习得能力。
Jun, 2023
回顾了和人脑活动相关的人工语言模型研究，发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合，并且人工神经网络内部的处理层次与人脑有相似之处，但是依据研究的不同而有所不同。因此，建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。
Jan, 2023
该研究论文阐述了当前的大语言模型非常强大，但其不易获得可能导致研究者新的语言计算方法的偏见和对原生主义的重视，并主张研究者们应该尽可能开源其大型语言模型的代码，以便让经验主义和混合方法保持可获得性。
Jan, 2023
本研究探讨基于计算方法和大数据的人工智能应用中所使用的大型语言模型的语言表现，着重考察语言表现是否由语言知识所导引。结果发现即便是常规语法结构之外的、不太常见的语言结构也可能导致大型语言模型表现出不足的语言能力，暗示这种类型的语言模型实际上并不像人类一样具有对语言的深入理解。
Feb, 2023