我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

本文介绍了一种简单的方法，通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息，实验结果表明，与同一数据集上训练的语法无关的神经机器翻译系统相比，WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现，它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。

Apr, 2017

该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

Mar, 2024

该论文探究了加入不同语言结构对神经机器翻译性能的影响，提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型，并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升，能够超过标准的 seq2seq 模型和其他引入目标端语法的方法，提高 2.1 个 BLEU 分数。

Aug, 2018

本研究介绍了基于依赖关系的混合语言模型，利用神经网络训练学习未来依赖令牌的概率分布，并将其与自注意力机制混合，从而提高了神经文本生成的效果。

Mar, 2022

通过使用基于图的方法，利用句法结构中的成分结构，包括语法树的长距离依赖和结构信息，实现了较强的代词消解技术。实验结果显示，在 OntoNotes 5.0 基准测试的英语和中文部分中，提出的模型要么超过了强基线要么实现了新的最高水平。

Feb, 2022

本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

Dec, 2021

本研究提出了一种新的基于依存的混合树模型，将自然语言转换成机器可解释的含义表示，并通过在标准多语言 GeoQuery 数据集上进行的大量实验证明，我们的方法能够在多种语言上实现最先进的性能。

Sep, 2018

通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

May, 2020

本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

Sep, 2018