本文介绍了探测方法学，通过使用外部分类器和统计分析，可以获得内层神经网络中存储的语言现象的部分表示。我们对多个 transformer 英语模型进行了时间顺序探测研究，并提供了这种探测研究的开源框架。结果表明，语言信息在训练的早期阶段就被获取，同时这些模型能够捕捉各种级别语言的各种特征，包括语态、句法和语篇，但有时他们无法完成一些容易的任务。
Jul, 2022
大型语言模型在医学领域中的应用是分析和调查临床试验的任务，本研究使用记忆探测方法研究在临床试验上训练的 Sci-five 模型，通过训练任务特定的探测器，调整模型以提高准确性，并发现探测器的大小对调整流程产生影响。
Feb, 2024
本文研究探索了在自然语言推理任务中探测语言模型中自然逻辑之外的中间语义特征的方法，通过不同的干预探测方法以及限制模型表示能力的探测方法，得出了有关 NLI 模型表示和干预探测的因果推断和分析。同时，带出了干预探测研究的一些局限性和难题。
Apr, 2023
本研究提出了 Morph Call，它是针对四种不同形态的印欧语言（英语，法语，德语和俄语）的 46 个探测任务套件，使用诱导句子扰动的检测方法，在神经元，层和表示水平上分析了四个多语言 transformers 的形态句法内容，其中包括其不太被探究的蒸馏版本，并研究了精调 POS 标记对模型知识的影响。研究结果表明，精调可以改善和降低探测性能，并改变形态句法知识在模型中的分布。代码和数据公开，希望填补 transformers 的研究空白。
Apr, 2021
本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。
Apr, 2020
该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。
Oct, 2022
本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。
Jun, 2023
语言模型中使用的语法信息可能存在多余编码，通过一种新的探针设计，可准确引导探针考虑嵌入中的所有语法信息，揭示语法在当前方法未能探测到的模型中的有效性，进而通过注入语法信息提高模型性能。
Apr, 2022
通过对最近的变形器模型应用因果干预技术分析了词义消歧问题上 “情境模型” 的表现，特别是注意头回路在隐含情境模型建立中发挥的作用及其通过不同路径对代词解析的引导方式进行比较。
本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的
May, 2023