语言的深度学习易度是由什么决定的？
该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。
Mar, 2019
本研究旨在发现序列处理神经网络对于“自然”词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入“努力程度”的概念，以使其语言行为更像人类。
May, 2019
研究了一个自然语言处理人工系统中句子的表征，分析表明存在一些启发式策略，通过训练分布，这些系统可以学习抽象规则并将其推广到新的环境中，但也存在一些推广行为上的缺陷。
Sep, 2019
两个实验表明，根据任务不同，非复合语言可能显示出与符合语言相等或更好的泛化性能和习得速度，因此在这个领域的进一步研究应更清晰地阐明复合性预期的哪些好处和如何实现。
Apr, 2020
本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。
Apr, 2020
本文提出了迁移学习作为一种分析神经语言模型中语法结构编码的方法，并发现训练模型在具有潜在结构的非语言数据上，如MIDI音乐或Java代码，可以提高模型在自然语言上的测试性能。作者还通过实验发现，在人工括号语言数据的训练中，模型对于层级递归结构的学习也有助于提高在自然语言测试上的性能，并且迁移学习的性能与语言类型的句法相似性密切相关，说明模型的预训练是具有学科跨越性质的。
Apr, 2020
通过针对不同结构相关现象的四个实验，我们评估了BERT在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现BERT在实体-助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在NPI许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。
Jul, 2020
在1295种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。
Jan, 2023
人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。
May, 2024