探究语言系统性
本文介绍了一种评估神经模型能否学习自然语言的单调性推理系统性的方法，并考虑了语法结构的重要性，实验表明神经模型的推理性能在语法结构相同的情况下很好。
Apr, 2020
比较了通用模型和模块化模型在系统化泛化方面的不同，发现模块化模型更具系统性，且高度敏感于模块排列方式，还探究了一些方法，结果表明，除了模块化，语言理解的系统泛化可能需要显式的正则化器或先验。
Nov, 2018
通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。
Feb, 2023
本研究系统地总结了机器学习中的系统化推广方法，并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题，并探讨了在语言、视觉和 VQA 等领域中的应用。此外，我们还讨论了相关的变量绑定和因果问题，并简要介绍了最新的研究进展，希望能为未来的研究提供一定的背景和参考。
Nov, 2022
本文介绍了探测方法学，通过使用外部分类器和统计分析，可以获得内层神经网络中存储的语言现象的部分表示。我们对多个 transformer 英语模型进行了时间顺序探测研究，并提供了这种探测研究的开源框架。结果表明，语言信息在训练的早期阶段就被获取，同时这些模型能够捕捉各种级别语言的各种特征，包括语态、句法和语篇，但有时他们无法完成一些容易的任务。
Jul, 2022
本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。
Oct, 2021
本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。
Feb, 2022
在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。
Jan, 2023
我们提出了一个替代方法来量化语言模型学习自然语言的程度：我们询问它们多大程度上与自然语言的统计倾向相匹配。通过分析语言模型生成的文本是否呈现出它们所训练的人类生成文本中存在的统计倾向，提供了一个与显著性测试配对的框架来评估语言模型的拟合程度。我们发现神经语言模型似乎只学会了一部分被考虑的倾向，但与经验性趋势相比，更接近所提出的理论分布（当存在时）。此外，对不同分布的拟合程度高度依赖于模型架构和生成策略。作为具体例子，使用 Nucleus sampling 方式生成的文本比使用标准祖先抽样生成的文本更紧密地遵循自然语言的类型 - 标记关系；LSTMs 生成的文本也非常好地反映了自然语言的长度、停用词和符号分布。
May, 2021