通过对模型、数据进行改动以及嵌入注意力机制，研究表明 RNNG 模型中显式建模组成部分对于实现最佳性能至关重要；并通过注意力机制发现，头部性在短语表示中起着核心作用，而短语表示与非终结符的依附关系最小化支持了前缀假说。

Nov, 2016

本研究介绍了递归神经网络语法与其使用的高效推理过程，分别应用于句法分析和语言模型，实验结果表明在英文的句法分析和英汉语言模型方面，其效果均优于所有以前发表的有监督生成模型和最先进的序列 RNNs。

Feb, 2016

使用循环神经网络语法模型（RNNGs）解析自然文本时得到两个幅度效应，提供了句法处理的动力学模型，建议将 RNNG + beam search 组合作为人类语言理解过程中发生的句法处理的机械模型。

Jun, 2018

我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

Sep, 2017

本文提出了基于批处理的 RNN-Grammar 训练方法，并借助 PyTorch 实现在 GPU 上显著加速训练和推断过程，并在大规模的训练数据集和广泛的句法评估基准测试中验证了批处理 RNN-Grammar 的性能优势。

May, 2021

本文调查了上下文中的分层结构对语言模型的人类化作用，并论证了用左角解析策略的分层模型比顺序模型和自上而下解析策略的分层模型更具有认知可信度，进一步探讨了认知可信度与 perplexity、解析和 beam size 之间的关系。

Sep, 2021

本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络（RvNN）的可替换方案，以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性，并通过在潜在结构中引入连续松弛来改进该方案，从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。

Jun, 2021

本研究探究了基于分层结构预训练的神经语言模型与 LSTM 模型在学习语音上的差异，并发现基于分层结构的猝死神经网络语法模型具有明显优势。

Mar, 2019

本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

Nov, 2017

本文研究了递归神经网络中选择性跟踪语言抽象层级结构的能力，并测试了递归神经网络在四种语言（意大利语、英语、希伯来语、俄语）中使用语言模型目标进行训练是否能够预测各种结构中的长距离数字一致性，结果表明递归神经网络能够可靠地预测长距离一致性而不依赖于词汇或语义信号，支持递归神经网络不仅是浅层模式学习器，而且还能获得较深语法能力的假设。

Mar, 2018