我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

Dec, 2020

我们提出了一种新的成分分析模型，将分析问题转化为一系列指向任务，支持高效的自上而下编码和学习目标。实验表明，我们的方法在不使用预训练模型的情况下取得 92.78 F1 的结果，使用预训练 BERT，达到了 95.48 F1 和最先进的技术水平相当。此外，我们的方法也在多语种成分分析领域实现了最新的技术进展。

Jun, 2020

本文提出一种有效的方法来使 constituent parsing 更加准确，通过学习切换标记方案、降低标签集的稀疏性、并细化多任务学习以减少错误传播，加上辅助损失和策略梯度句子级微调等技术，成功优化了英文和中文 Penn Treebanks 数据集的连续标记 constituent parsers 的性能，并在 SPMRL 数据集上实现了更大的性能提升，包括在巴斯克语、希伯来语、波兰语和瑞典语上建立了新的 state of the art。

Feb, 2019

通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

Jun, 2022

本研究比较了两种半监督学习技术，即 tri-training 和预训练词嵌入，在依存句法分析任务中的表现。研究探讨了语言特定的 FastText 和 ELMo 嵌入以及多语言 BERT 嵌入，并选择了匈牙利语、维吾尔语和越南语等语言进行研究。结果表明，预训练词嵌入比 tri-training 更有效地利用了未标记数据，但这两种方法可以成功地结合使用。

Sep, 2021

本研究调查了预训练语言模型是否实际执行语法分析任务或仅弱相关运算，通过生成建模与 PCFG 结构的实验，证明了模型可以近似执行该任务并恢复算法估计的概率。

Mar, 2023

本文通过对预训练词向量、字符模型和 POS 标签在基于转移的依赖分析器中的相互作用进行综合分析，认为它们之间存在复杂的相互作用，并且在分别应用它们时，均较使用随机初始化的词向量的基线系统都有了大幅度的改进，但组合它们很快就会显得变得没有预期的好，特别是在具有丰富形态的低频开放类词汇和有歧义性的高频功能词之间，将它们灵活组合使用可以得到同样的结果，同时对于具有小字符集的语言，尤其是对于形态丰富的语言，大的字符嵌入大小也有助于提高依赖分析的品质

Aug, 2018

提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何输入句子，支持连续 / 投影和不连续 / 非投影的句法结构，并证明了这两种句法形式可以在训练过程中互相受益，提高了在多个基准测试中的准确性，如英语和中文 Penn 树库以及德语 NEGRA 和 TIGER 数据集。

Sep, 2020

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020