基于维度选择的内在探测

EMNLPOct, 2020

Intrinsic Probing through Dimension Selection

Lucas Torroba Hennigen, Adina Williams, Ryan Cotterell

TL;DR本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中其语言结构。

Abstract

Most modern nlp systems make use of pre-trained contextual representations that attain astonishingly high performance on a variety of tasks. Such high performance should not be possible unless some form of

nlp systems pre-trained contextual representations linguistic structure intrinsic probing multivariate gaussian probe

发现论文，激发创造

一种隐变量模型用于内部探测

本文提出了一种新的潜变量公式用于构建内在探测器以确定语言属性所在位置，并提出一个可行的变分逼近方法，用于求解对数似然函数计算，结果表明这个模型能够获得更好的内部探测精度，并且在跨语言的形态句法方面表现良好。

Jan, 2022

信息论探针用于语言结构探索

本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

Apr, 2020

帕累托探测：以复杂度为代价平衡准确性

通过引入 Pareto hypervolume 作为评估度量和依赖文法分析作为更难的探针任务，从而探究探针评估下的文本语言结构和语义表示的性质和限制。

Oct, 2020

探究上下文词向量的句子结构学习

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019

DirectProbe: 无需分类器的表示研究

本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。

Apr, 2021

通过提示探测

本文提出了一种无模型的探测方法 —— 提示探测法，通过在 5 个探测任务上的实验表明，这种方法在提取信息方面与诊断探针相当或更好，并且可以自我学习得更少。此外，结合关注头修剪与提示探测法，分析模型在其架构中存储语言信息的位置，并通过删除对特定语言属性至关重要的头部来评估预训练的有用性。

Jul, 2022

探究作为归纳偏好的定量化

该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。

Oct, 2021

LINSPECTOR：用于词表示的多语言探针任务

该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

Mar, 2019

光谱探测

通过开发可完全学习的频率过滤器，我们可以在不同层次和频率上捕捉语言信息。在单语言环境下，我们证明了频谱探测比手工滤波器具有更高的信息量，并在六种语言中的七个 NLP 任务中进行了多语言分析。这些分析鉴定了独特的频谱轮廓，是一种语言直观的方法，而且跨语言是一致的，并展示了其作为强大而轻量级任务描述符的潜力。

Oct, 2022

通过线性结构探测研究变压器句子嵌入的语义子空间

以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

Oct, 2023