本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

Mar, 2020

我们提出了一种模仿学习的无监督句法分析方法，将 PRPN 诱导的句法知识转移到带有离散句法分析操作的 Tree-LSTM 模型上，并通过 Gumbel-Softmax 训练不断优化其策略以实现更好的语义目标。在 All-NLI 数据集上进行实验，证明我们的方法在句法得分上超过了基准模型，包括 PRPN。

Jun, 2019

研究表明，使用 ON-LSTM 等模型进行自然语言处理，可以在没有人为注释的情况下学习组成句法分析，相对最佳状态的性能表现较好，但在解析内部结构更复杂的名词短语时存在困难，并可能高估在动词之前分割点的高度。我们推测采用不同于单向语言建模的训练任务可能有助于解决这两个问题。

Oct, 2020

通过复制两种无监督学习句子语法结构的神经网络，本研究发现其中只有一种模型在对句子进行分类上表现更出色，但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显，并且与任何作者所知的语义或句法形式学不上相似。

Sep, 2017

该研究针对最近基于潜在树学习的神经网络模型探索，探索在非解析任务下使用解析值潜变量训练模型，用于发现可解释的树形结构，并成功在语言建模和成分句法分析领域展示了潜在树学习的实用性。

Aug, 2018

该研究提出了一种基于语法规则的非监督句法树生成方法，利用了语言的通用语法知识，采用强化学习和自编码器等技术，在 MNLI 和 WSJ 两个基准数据集上实现了最好的结果。

May, 2021

本文基于上下文中的先前思路是否明确需监督的句法分析才能实现高层语义理解，通过实证研究检验了监督句法分析在语言模型预训练的 Transformer 网络中应用于语义理解的效用，并通过分析该网络在句法分析中前后的表示空间，得出监督句法分析对最终语义理解性能的影响非常有限的结论。

Aug, 2020

该研究提出了一种通过比较语言和反向语言的性能差距来量化分支偏差的方法，并分析了分析算法、特征定义和语言模型对分支偏差的影响。实验结果表明，存在一些现有作品存在分支偏差，并且这三个因素的一些实现可能会引入分支偏差。

Oct, 2020

本文介绍了一种广覆盖概率自顶向下解析器的运作原理和其在语音识别中的应用。首先介绍了语言建模和概率解析的关键概念，并简要回顾了利用句法结构来进行语言建模的一些以前的方法。然后介绍了一种词汇化的概率自顶向下解析器，它在返回解析的准确性和寻找解析效率方面表现非常优异，相对于最好的广覆盖统计解析器。接着提出了一种利用概率自顶向下解析的新的语言模型，实证结果表明，它在测试语料库的困惑度上优于先前的工作。与三元模型的插值获得了异常的提高，说明我们的解析模型捕捉的信息与三元模型捕捉的信息是正交的。最后，一个小的语音识别实验也证明了该模型的实用性。

May, 2001

本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

Feb, 2015