本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异。本研究发现预测语言任务的神经元是小的子集，与较低级任务（如形态学）相比，预测句法这样的更高级任务的神经元更加分散。同时，本研究还揭示了有趣的跨架构比较，比如我们发现在预测性质方面，XLNet 中的神经元更加局部化和不连通，而 BERT 等则更加分布式和耦合。

Oct, 2020

该研究利用 Linguistic Correlation Analysis 技术，定位和提取能够预测不同语言任务的少量神经元，研究表明深度 NLP 模型中神经元的学习特征高度分布和冗余，预训练模型的微调也会影响学习到的语言知识，同时还发现多语言变压器模型中的神经元分布具有相似性。

Jun, 2022

本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

Apr, 2020

研究者提出用于解释神经网络在自然语言处理任务中的单个特定维度及其与模型性能的相关性分析的方法，并公开了工具箱。

Dec, 2018

本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

May, 2020

本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中其语言结构。

Oct, 2020

本文提出了一种新的潜变量公式用于构建内在探测器以确定语言属性所在位置，并提出一个可行的变分逼近方法，用于求解对数似然函数计算，结果表明这个模型能够获得更好的内部探测精度，并且在跨语言的形态句法方面表现良好。

Jan, 2022

本文探讨了使用诊断分类器和表征相似性分析两种分析技术来衡量神经网络模型中语音学的表现，并研究了两个因素对分析结果的影响，最终得出全局范围方法往往提供更一致的结果且应作为本地范围方法的补充。

Apr, 2020

利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

Oct, 2021

受认知神经学研究的启发，我们介绍了一种新颖的 “解码探测” 方法，利用最小对比基准（BLiMP）逐层探测神经语言模型中的内在语言特征。通过将语言模型视为 “大脑”，其表示为 “神经激活”，我们从中间层的表示中解码最小对比的语法标签。该方法揭示了：1）自监督语言模型在中间层捕捉到了 GloVe 和 RNN 语言模型无法学习到的抽象语言结构。2）句法语法性的信息在 GPT-2 的最初三层中得到了鲁棒地捕捉，且在后续层中也分布广泛。随着句子复杂度的增加，需要更多的层来学习语法能力。3）比起语法，形态和语义 / 句法接口相关特征更难捕捉。4）对于基于 Transformer 的模型，嵌入和注意力机制都捕捉到了语法特征，但显示出不同的模式。不同的注意力头对于不同的语言现象展现出类似的倾向，但贡献有所不同。

Mar, 2024