使用因果干预分析展示，深层架构如 Transformers 不是不透明的 “黑盒” 表示，而是以线性、可解释的形式表示某些语言特征。具体而言，我们表明 BERT 的动词变位能力依赖于一种线性编码的主语数量，在第一层的主语位置和最后一层的动词位置可以操纵并对变位准确性产生可预测的影响。在中间层位置，特别是当有多个主语序号线索时，该编码分布在多个位置之间。

Oct, 2023

本文从 BERT 的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现 BERT 倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。

Apr, 2021

本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

May, 2020

本文旨在研究预训练语言编码器（ELMo，BERT 和 RoBERTa）在面对自然语法错误时的表现，通过采集真实语法错误和进行对抗性攻击来模拟这些错误对干净文本数据的影响。结果证实，所有测试模型的性能都受到了影响，但影响程度有所不同。此外，我们设计了一个语言接受度任务来揭示它们在识别不符合语法的句子和错误位置方面的能力。本文的结果有助于理解语言编码器对语法错误的鲁棒性和行为。

May, 2020

本研究提出基于 DistilBERT、XLM 和 BERT 的多语言探究任务，探讨自然语言数字系统中数值数据的组合推理证据，并发现这些预训练模型嵌入中编码的信息足以支持合法性判断，但一般不适用于值比较。

Oct, 2020

该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

Apr, 2022

通过对语言模型进行边缘探测的方法，研究发现，即使是对语言模型进行针对性微调，在边缘探测结果中对于语言的编码并没有显著的变化，推测是因为边缘探测本身容易受到数据集的偏见影响，进行数据偏见校正后可以得到更好的结果。

Sep, 2021

该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。

Oct, 2022

使用深度学习方法训练的人工神经网络可以在一定程度上模拟人类语句处理的神经机制，但由于某些长距离内嵌依赖的影响，尚不支持完全递归，并且在与人类检测单复数一致性方面具有类似的误差模式。

Jun, 2020

该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。

Oct, 2021