研究基于序列的神经网络与基于树的网络在句法任务上的表现，并比较常见的句法表示方法对句法结构带来的影响，同时发现基于组成结构的网络更具鲁棒性，通过少量构建的数据 fine-tune 可以显着提高序列模型的性能，表明数据增强是为序列模型注入句法偏置的可行替代方案。
Apr, 2020
本研究介绍一组实验，以证明深度递归神经网络（RNN）可以从高度多变的监督中学习到捕捉软层级句法概念的内部表征。我们考虑了四个句法任务，每个词的词性以及出现在其上方的第一（parent）、第二（grandparent），第三层级（great-grandparent）的构成标签。我们发现每个网络深度与句法层级之间存在对应关系，这表明出现了柔和的句法层级。这个效应在所有条件下都是强有力的，这表明即使没有显式的句法训练监督，这些模型也编码了大量句法信息。
May, 2018
该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。
Mar, 2024
我们在本文中介绍了两种归纳偏差方法，分别针对语法结构和依赖关系，实现了深度学习模型的归纳偏差，并通过这些方法建立了深度学习模型的潜在分层表示，使模型能够处理复杂的序列结构并在语言处理任务中取得了优秀的效果。
Jun, 2022
本论文提出了将非确定性栈结构引入神经网络，通过可微分的数据结构实现非确定性下推自动机并将其融入循环神经网络和 Transformer 网络，从而提高其语法上下文无关语种的识别能力，并在自然语言建模方面进行了实证研究，并取得了不错的效果。
Apr, 2023
提出一种考虑语法标签的递归神经网络 (RvNN) 架构，通过引入结构感知的标签表示，可以控制现有单词级树 LSTM 的组合函数，进而在情感分析和自然语言推理等句子级任务中取得了较优或有竞争力的表现。
Sep, 2018
本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。
Apr, 2022
提出了一种新的技术来分析神经语言模型在句法结构敏感性方面的代表性，并证明 LSTM LMs 对于具有关系从句的不同类型的句子的表示是按照语言可解释的层次结构组织的，表明 LMs 跟踪句子的抽象属性。
Sep, 2019
本研究旨在探究神经语言模型是否能够在单线性序列输入的情况下提取层次信息，并通过中心嵌套句子和语法岛约束等自然语言现象的实验研究证明：LSTM 能够识别和利用堆栈数据结构来存储和获取一定数量的语言层次结构。
Jun, 2019
研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。