通过注意力图卷积网络以图形式建模词库中的信息，加强神经组合范畴语法（CCG）超标记，进而提高语法分析的准确性。实验结果表明，该方法在超标记和语法分析方面优于先前所有研究。

Oct, 2020

本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。

Oct, 2022

本文从图论的角度重新审视结构调整式句法分析，并提出了一个基于异构动态图卷积的框架，以利用补丁标记器输出空间的独特结构。我们在涵盖不同语言和语法形式的分类语法数据集上测试了我们的方法，并获得了显著的改进。

Mar, 2022

本研究提出了一种基于注意力增强的编码器 - 解码器模型的通用方法，旨在消除传统方法所需的高质量词汇表、手工构建的模板和语言特征等问题，并可在不同领域和意义表示之间进行易于调整的转化，实验结果表明，该方法在不使用手工特征的情况下表现出了较强的竞争力。

Jan, 2016

本研究提出了一种基于语言学的自我 - 注意力神经网络（LISA），它利用多头自我注意力和跨依存句法分析，词性标注，谓词检测和语义角色标注的多任务学习，无需显式地利用语言特征，只需使用标记作为输入进行处理，从而提高语义角色标注的准确性。

Apr, 2018

本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

Jul, 2016

该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

Oct, 2020

本文探讨 Transformer NMT 编码器中的多头注意力，在三种源语言中寻找可解释为句法的模式，并针对自注意力中存在的类短语序列自动构建并评估短语结构树，将结果与已有的短语结构树库进行比较。

Jun, 2019

本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

Nov, 2019

本文介绍了基于图形的 Tree Adjoining Grammar (TAG) 解析器，并使用 BiLSTMs、Highway 连接和字符级 CNNs 来实现，该解析器在全局推理和特征表示方面具有先进性，在短语结构随从词性标注和解析方面性能显著优于以往的结果，并且在解析评估和无界依赖恢复方面实现了最先进的性能。

Apr, 2018