本研究介绍一组实验，以证明深度递归神经网络（RNN）可以从高度多变的监督中学习到捕捉软层级句法概念的内部表征。我们考虑了四个句法任务，每个词的词性以及出现在其上方的第一（parent）、第二（grandparent），第三层级（great-grandparent）的构成标签。我们发现每个网络深度与句法层级之间存在对应关系，这表明出现了柔和的句法层级。这个效应在所有条件下都是强有力的，这表明即使没有显式的句法训练监督，这些模型也编码了大量句法信息。

May, 2018

本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。

Jun, 2015

通过复制两种无监督学习句子语法结构的神经网络，本研究发现其中只有一种模型在对句子进行分类上表现更出色，但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显，并且与任何作者所知的语义或句法形式学不上相似。

Sep, 2017

利用深度循环神经网络的双向表示方法，将句子的二叉分析树作为结构信息，结合单词向量的初始表示方法，提出了一种可以捕捉输入附近的结构信息用于标记实例的新架构，并在情感表达提取任务上进行了初步实验。

Dec, 2013

介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

Feb, 2015

研究基于序列的神经网络与基于树的网络在句法任务上的表现，并比较常见的句法表示方法对句法结构带来的影响，同时发现基于组成结构的网络更具鲁棒性，通过少量构建的数据 fine-tune 可以显着提高序列模型的性能，表明数据增强是为序列模型注入句法偏置的可行替代方案。

Apr, 2020

本文研究了将基于树的句子编码器中的句法分析树替换成平衡二叉树、左 - 分支树和右 - 分支树等简单树的有效性；结果表明，在没有句法信息的情况下，基于这些简单树的编码器在大多数下游任务中具有竞争力甚至更好的性能，这表明显式的句法指导可能不是基于树的神经句子建模方法表现出色的主要贡献者。

Aug, 2018

本文提出了一种新的 Attentive Recursive Tree 模型，它可以根据任务动态地定位一个句子中的重要单词，在底向上进行句子嵌入的组成时，AR-Tree 可以内在地强调重要单词。通过一种端到端的加强训练策略，该模型在三个句子理解任务上表现出色。

Nov, 2018

本文提出了第一个用生成模型进行 RST 解析的文档级 RNN 语法，通过一种新的 beam search 算法，在而不展示左分支的偏差下，在未标注和标注的 F1 值上分别提高 6.8 和 2.9，超越了所有不使用额外训练数据的最新复制研究中发布的解析器，并且优于具有相同特征的判别模型 2.6F1 分。

Sep, 2019

使用强化学习学习树形神经网络，以计算自然语言句子的表示形式。优化树形结构以提高下游任务的性能，实验证明学习任务特定的组合顺序的好处，优于基于树库注释的顺序编码器和递归编码器。分析所发现的树形结构，发现了一些语言直观的结构，但这些结构与传统的英语句法结构是不同的。

Nov, 2016