通过大规模数据集 DAIS，本文研究谓语偏向性对人类习惯表述的影响，探究神经语言模型对人类偏好的表达能力，结果表明基于 transformer 架构较基于循环神经网络较佳，并具有更好的语法信息融合表达能力。

Oct, 2020

本研究通过选择性构建的诊断分类器，对 Bert、Roberta、Electra 和 DeBERTa 等大型预训练语言模型的嵌入进行了研究。研究发现，PLM 的上下文嵌入不仅在单词和句子级别上优于非上下文嵌入，而且在大多数替换类别的任务中实现了惊人的高准确性，同时，我们发现，PLM 的中至上层在所有探测任务中的表现均比下层要好。

Sep, 2022

本文利用一种新的单词学习范式，测试并发现 BERT 在仅有一两个新词的微调后，便能够展现出稳健的语法概括能力，且在英语动词的变化过程和选词特征上表现出某些偏好行为。

Nov, 2020

本文研究了不同上下文环境下，有些动词引起的语义框架不同，以及如何利用 Contextualized word representations 识别这些不同的语义框架，同时探索哪些类型的表示适合用于语义框架的归纳。通过比较七种不同的 Contextualized word representations，特别是 BERT 和其变体，在 FrameNet 和 PropBank 等英语 Frame-semantic 资源方面进行了实验，表明，某些 Contextualized word representations 对于语义框架的归纳具有相当的信息量。此外，本文还考察了动词的上下文表示估算其所引起的语义框架数的程度。

May, 2021

本研究适用于多项心理语言学的研究方法，发现了 Transformer-based 语言模型 (LMs) 中的 Argument Structure Constructions (ASCs) 的存在，并对研究者提供了未来通过心理语言学实证研究语言模型的方法和方向。

Feb, 2022

通过使用来自语言模型的更高维数组，我们发现句子嵌入可捕获规则类的语法信息，进而帮助发展少样本学习方法。

Dec, 2023

研究表明，语义的影响会影响人类和神经语言模型在主谓一致任务上的表现，BERT 对此更为敏感。

Sep, 2022

提出了一种更加语法化的方法来处理名化结构中的构成成分，并利用基于上下文的词表示来构建依存句法分析，实现了高准确率的动名对应。

Jun, 2023

本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。

Oct, 2022

Transformer-based large language models perform well in generalizing word distributions in related contexts seen during pre-training, but fail in generalizations between unobserved contexts by relying on linear order instead of more abstract structural generalizations.

Nov, 2023