该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

Mar, 2019

本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

Apr, 2020

本篇论文旨在探讨比较语言学理论和神经语言模型之间的相关性，其中使用了语言模型来衡量语义距离并研究了其对于语言学的意义、提出了衡量语言模型中的意外性的方法以及证明了该方法在探究语言运用的知识结构方面的有效性。

Jul, 2022

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021

本文讨论深度自然语言理解模型的系统性问题，通过在自然语言推理（NLI）中进行一系列实验，证明了一些 NLU 系统虽然不具备系统性，但仍能够达到高的整体表现。

May, 2020

本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

Dec, 2021

通过分析深度线性网络中的非线性动态，我们找到了确切的解决方案，从而解释了语义认知中许多不同现象的普遍性，包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现，以及发展过程中归纳投射模式的变化，以及跨物种的神经表示中语义相似性的保持。

Oct, 2018

本文追溯了神经网络在自然语言理解任务中的应用历史，指出了自然语言的特性对神经网络架构的发展的关键贡献。文章着重强调了变量绑定及其在基于注意力模型中的实例化的重要性，并认为 Transformer 不是序列模型而是一种诱导结构模型。这一视角导致了对深度学习架构在自然语言理解方面面临的挑战的预测。

May, 2020

本文简要介绍了自然语言处理领域和深度学习架构和方法，并从最近的研究中总结了大量相关贡献，对核心语言处理问题和计算语言学的多个应用进行了分析，并提供了当前技术水平的讨论和未来研究的建议。

Jul, 2018

本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。

Oct, 2022