基于 LLMs 的短语结构解析
通过结合大型语言模型（LLM）生成领域特定原始语料库的迭代过程，以及引入语法规则指导 LLM 生成原始语料库并建立伪实例选择标准等方法，本研究探索了自训练方法在跨领域句法分析中的应用，实验证明，自训练方法配备 LLM 在句法分析任务上胜过传统方法，且通过语法规则和置信度标准选择伪数据的组合效果最佳。
Nov, 2023
我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。
Sep, 2023
本研究旨在通过使用去词法化方法，利用现代德语 (MG) 的语法分析数据，进行从现代德语到中古高地德语 (MHG) 的跨语言转移，训练了一个在 MHG 测试集上取得了 67.3% 的 F1 分数的词法成分分析器，相较于最佳零 - shot 跨语言基线提升了 28.6% 的性能。这些结果表明，在面临类似 MHG 的古代语言中进行自动句法分析具有实用性和潜力。
Aug, 2023
我们提出了一种新的成分分析模型，将分析问题转化为一系列指向任务，支持高效的自上而下编码和学习目标。实验表明，我们的方法在不使用预训练模型的情况下取得 92.78 F1 的结果，使用预训练 BERT，达到了 95.48 F1 和最先进的技术水平相当。此外，我们的方法也在多语种成分分析领域实现了最新的技术进展。
Jun, 2020
本文提出了一种新的基于上下文表示扰动评分的图表法提取已屏蔽语言模型中的句法树的方法，此方法在英语和八种语言的数据集上均表现出优异性能，能替代无监督语法分析方法。
Jun, 2023
本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。
Oct, 2020
本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。
Apr, 2022
本研究开发了一种基于图表的方法和有效的 top-K 集成技术，通过应用这种方法到多语言的预训练语言模型中，可以在集成和语言无关的方式下诱导出九种语言的句子的非平凡解析，同时发现了普遍的注意力头，这些头与句法信息的感知是一致的，验证了该方法的鲁棒性。
Apr, 2020