本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。
Apr, 2020
本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。
May, 2020
本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。
本研究提出了Amnesic Probing方法，用以替代传统的伪推式分析方法，并通过对BERT进行一系列分析，发现伪推性能并不与任务重要性相关，并呼吁加强对从伪推结果中得出行为或因果结论的主张的审查。
Jun, 2020
本研究提出基于DistilBERT、XLM和BERT的多语言探究任务，探讨自然语言数字系统中数值数据的组合推理证据，并发现这些预训练模型嵌入中编码的信息足以支持合法性判断，但一般不适用于值比较。
Oct, 2020
本文从BERT的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现BERT倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。
Apr, 2021
本研究探究了不同的预训练模型（BERT、ELECTRA 和 XLNet）对语言信息编码的差异性，并表明基于深度的评估策略往往存在误导性，我们使用了一种信息论探究方法以获取更为可靠和有用的结论。
Sep, 2021
通过对语言模型进行边缘探测的方法，研究发现，即使是对语言模型进行针对性微调，在边缘探测结果中对于语言的编码并没有显著的变化，推测是因为边缘探测本身容易受到数据集的偏见影响，进行数据偏见校正后可以得到更好的结果。
该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对Contextual embeddings的探究，比较了fastText和BERT在不同任务上的性能表现差异。
Oct, 2021
本论文通过probing调查fine-tuning和knowledge distillation过程中，BERT基础的自然语言理解（NLU）模型出现的现象。实验结果表明，当前形式的probing范式不适合回答这些问题，因此，信息可解码的量化是探测范式在许多实际应用中至关重要的。
Jan, 2023