通过监测神经网络模型每个层的特征并测量其对分类的适用性，使用线性分类器（即 “探针”）完全独立于模型本身进行训练，这有助于更好地理解中间层的作用和动态，并可用于诊断潜在问题。将此技术应用于 Inception v3 和 Resnet-50 等流行模型，实验证明，特征的线性可分性沿模型深度单调增加。
Oct, 2016
本研究探讨了使用轻量 Probing 方法去解释 NLP 模型内在机制的方法，通过对三项探测测试的准确性精确预测了模型的调优表现，为 NLP 模型的发展提供了可能。
Oct, 2022
这篇文章探讨从神经科学角度出发，在进行机器学习的探索性研究时，通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型
Apr, 2021
本文介绍了一种名为 'in-context probing' 的方法，能够更好地提高大型语言模型在分类任务中的鲁棒性，并证明了这种方法在与提供的指令变化较大时更具可靠性。
May, 2023
研究人员发现，基于文本数据训练的神经网络模型存在不可取的语言或敏感概念问题。本文通过广泛的理论和实证分析，证明了使用事后和对抗方法无法完全删除有问题的概念，并有可能破坏所有有用任务特征，并建议使用伪度量衡量最终分类器的质量。
Jul, 2022
本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。
本文提出了一种无模型的探测方法 —— 提示探测法，通过在 5 个探测任务上的实验表明，这种方法在提取信息方面与诊断探针相当或更好，并且可以自我学习得更少。此外，结合关注头修剪与提示探测法，分析模型在其架构中存储语言信息的位置，并通过删除对特定语言属性至关重要的头部来评估预训练的有用性。
提出一种基于减法修剪的探测方法，相较于多层感知机探测方法，该方法在预训练模型上的准确性更高，而在随机模型上的准确性更低，且在探测复杂度上占据优势，通过对不同任务的分析，我们发现较低层次的任务被编码在较低的层数中。
使用梯度提升决策树作为语言模型中隐藏层的检测分类器，相对于逻辑回归于转换器层的输出表示，用于识别句子部分更具优势，并且比许多其他方法更可取，根据预置设置，错误率的增益范围为 9-54%。
Dec, 2023
本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。
Apr, 2020