通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

Jun, 2022

通过无需直接监督或引入额外参数的无参探测技术，我们提出了一种分析预训练语言模型的新方法，实验表明该方法所得到的句法树和依存结构与人类设计的依赖模式相兼容或甚至更优，在情感分类任务中能显著提高分类效果。

Apr, 2020

通过使用非线性结构探测器来研究编码信息的结构特点，这篇论文提出了一种简化而有效的非线性结构探测器设计，并设计了一个可视化框架来定性地评估句子中两个词之间的连接强度，并用于探索 BERT 在各层中编码的依赖关系树的结构。研究发现，径向基函数（RBF）比线性探测器对 BERT 模型更有效。

Feb, 2024

本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。

Apr, 2021

本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。

May, 2020

本文使用 Shen 等人 (2018) 的句法分析算法来恢复基于 “句法深度” 代理的短语结构树，并使用常规 LSTM 语言模型提供的代理进行比较，发现偏向于右分支结构的解析算法可以夸大语言模型的表现能力。

Sep, 2019

通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

Jun, 2020

本文研究使用基于 BiLSTM 的序列标注方法重构了依存句法分析，并通过在 PTB 和 UD 树库样本上的实验，证明该方法在速度和准确性之间提供了很好的平衡，结果与更复杂的方法相当竞争力。

Feb, 2019

通过引入 Pareto hypervolume 作为评估度量和依赖文法分析作为更难的探针任务，从而探究探针评估下的文本语言结构和语义表示的性质和限制。

Oct, 2020

本研究提出了一种新的基于依存的混合树模型，将自然语言转换成机器可解释的含义表示，并通过在标准多语言 GeoQuery 数据集上进行的大量实验证明，我们的方法能够在多种语言上实现最先进的性能。

Sep, 2018