我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

Mar, 2024

本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。

Apr, 2022

运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

Oct, 2023

本文通过对 BERT 和 RoBERTa 中的 attention heads 进行定量和定性分析，采用句法距离方法从每个头的 attention 权重中提取隐式成分结构语法，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。此外，本文分析了 Fine-tuning 两种任务后 attention heads 的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均 CGI 能力，而自然语言推理任务增加了其能力。最后，我们探讨了 CGI 能力与 QQP 和 MNLI 任务的自然语言理解能力之间的联系。

Feb, 2021

本文提出了一种基于擦除 - 唤醒方法的预训练语言模型的定位能力实验技术，并在四个数据集上进行了实证研究。实验证明，该方法可以唤醒潜在的实体定位，有望提高下游的语义解析模型，特别是在 text-to-SQL 的应用方面表现出了极大的潜力。

Sep, 2021

本文研究了预训练模型在通用语言中层次化句法功能的作用，通过诊断语法转换任务来诊断预训练参数的归纳偏差，结果表明，模型深度对于层次化泛化具有更大的作用，同时，在训练规模方面，使用适当的语料库预训练可以提高效率。

May, 2023

本文研究了基于短语的语言模型，针对机器翻译使用引入了全面的基于短语的语言模型，并通过初步实验结果表明，相比于基于单词的语言模型，我们的方法在困惑度和翻译质量方面表现更好。

Jan, 2015

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

本研究开发了一种基于图表的方法和有效的 top-K 集成技术，通过应用这种方法到多语言的预训练语言模型中，可以在集成和语言无关的方式下诱导出九种语言的句子的非平凡解析，同时发现了普遍的注意力头，这些头与句法信息的感知是一致的，验证了该方法的鲁棒性。

Apr, 2020