在研究了线性探测器的限制条件后，我们针对六种语言提出了一种具有同样参数数量的非线性变体，并使用径向基函数（RBF）核函数进行了测试，发现在所有语言中，RBF 核函数与正则化相结合能够显著提高基线（Baseline）的性能。

May, 2021

DepProbe 是一个能够从嵌入中提取有标签和有向依赖解析树的线性探针，使用的参数较少，计算复杂度较低，并且在选择最佳转移语言以训练完整的双仿效注意解析器方面表现卓越。

Mar, 2022

本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。

May, 2020

以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

Oct, 2023

本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

Apr, 2020

通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

Jun, 2020

本研究使用 Poincare 探针将 contextualized word embeddings 映射到具有明确定义层次结构的 Poincare 子空间中，发现在句法子空间中我们的探针比欧几里德探针更好地恢复了树结构，同时在情感子空间中，我们揭示了正面情感和负面情感的两种潜在的元嵌入，并展示了词汇受控情境化将如何改变嵌入的几何定位。

Apr, 2021

本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中其语言结构。

Oct, 2020

通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

Jun, 2022

本论文通过 probing 调查 fine-tuning 和 knowledge distillation 过程中，BERT 基础的自然语言理解（NLU）模型出现的现象。实验结果表明，当前形式的 probing 范式不适合回答这些问题，因此，信息可解码的量化是探测范式在许多实际应用中至关重要的。

Jan, 2023