本研究开发了一种基于图表的方法和有效的 top-K 集成技术，通过应用这种方法到多语言的预训练语言模型中，可以在集成和语言无关的方式下诱导出九种语言的句子的非平凡解析，同时发现了普遍的注意力头，这些头与句法信息的感知是一致的，验证了该方法的鲁棒性。

Apr, 2020

运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

Oct, 2023

研究预训练语言模型如何通过无监督学习中的遮盖和预测标记产生语言结构和改进下游性能；理论认为，预训练语言模型通过遮盖具有暗示下游任务的填空作用，获得有用的归纳偏见。本文构建了类似填空的掩码，并用于三个不同的分类数据集，证明了预训练模型的绝大部分性能提升来自没有与词典关联的通用掩码；我们演示了掩码语言模型（MLM）目标与学习图形模型中的统计依赖的现有方法之间的对应关系，并利用这一点派生出一种提取该模型中学习到的统计依赖的方法，这些依赖以句法结构的形式编码。通过对暗示的统计依赖结构进行最小生成树的无监督解析评估，在无监督解析方面，简单地形成最小生成树优于经典的无监督解析方法（58.74 vs. 55.91 UUAS）

Apr, 2021

本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

Oct, 2020

本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。

Apr, 2022

我们提出了一种新的成分分析模型，将分析问题转化为一系列指向任务，支持高效的自上而下编码和学习目标。实验表明，我们的方法在不使用预训练模型的情况下取得 92.78 F1 的结果，使用预训练 BERT，达到了 95.48 F1 和最先进的技术水平相当。此外，我们的方法也在多语种成分分析领域实现了最新的技术进展。

Jun, 2020

本文提出了一种利用语言信息来增强场景文本识别模型鲁棒性的方法，通过将 Masked Language Modeling (MLM) 和 Permuted Language Modeling (PLM) 结合到一个单一解码体系结构中，引入特定数量的掩码标记来集成 MLM，实验结果表明，该模型在标准基准测试中使用 AR 和 NAR 解码程序均获得了最先进的性能。

May, 2023

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

本研究调查了预训练语言模型是否实际执行语法分析任务或仅弱相关运算，通过生成建模与 PCFG 结构的实验，证明了模型可以近似执行该任务并恢复算法估计的概率。

Mar, 2023

通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

Jun, 2022