本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

Feb, 2015

本文通过探究无监督条件下对成分结构的学习，提出了使用一种技术从堆叠循环神经网络的推送行为中提取句法树，证明堆叠循环神经网络确实推断出了具有语言学相关的层次结构。

Jun, 2019

本文研究了递归神经网络中选择性跟踪语言抽象层级结构的能力，并测试了递归神经网络在四种语言（意大利语、英语、希伯来语、俄语）中使用语言模型目标进行训练是否能够预测各种结构中的长距离数字一致性，结果表明递归神经网络能够可靠地预测长距离一致性而不依赖于词汇或语义信号，支持递归神经网络不仅是浅层模式学习器，而且还能获得较深语法能力的假设。

Mar, 2018

本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

Nov, 2017

本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

Sep, 2018

本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

May, 2020

本文探讨是否在神经网络中使用额外的句法特征表示对语义角色标注（SRL）有益，实验结果表明这有助于提高 SRL 的性能，并且在 CoNLL-2005 数据集上达到了新的最先进水平。

Jul, 2019

提出一种考虑语法标签的递归神经网络 (RvNN) 架构，通过引入结构感知的标签表示，可以控制现有单词级树 LSTM 的组合函数，进而在情感分析和自然语言推理等句子级任务中取得了较优或有竞争力的表现。

Sep, 2018

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

本论文探究了 RNN 在句法能力、主谓一致性任务方面的表现，并测试了多任务训练是否能够提高其性能，结果表明多任务训练可以提高 RNN 的表现，尤其在复杂句子方面。此外，多任务训练还可以向语言模型中注入语法知识。

Jun, 2017