通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

Jun, 2020

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019

利用转换模型的句子嵌入可以编码大量语言信息，探索了这些嵌入是否包含可以分离的重叠信息层，并且可以检测特定类型的信息，如块和它们的结构和语义属性信息。通过使用包含已知块结构的句子数据集和两个语言智能数据集，解决依赖于检测块及其语法数量和语义角色的任务，并通过对任务表现和学习过程中构建的内部表示的分析，证明了这一点。

Jun, 2024

本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。

May, 2021

本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过 36 种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而 fastText 相较于 BERT 更加集中其语言结构。

Oct, 2020

该研究通过使用新型正交结构探针，针对比较语言特征研究并评估了 9 种不同语言中 mBERT 的语境表示所编码的句法和词汇结构信息，并发现对于与英语密切相关的语言，在跨语言嵌入空间中无需进行转换，而对于其他语言，则需要学习分别进行的正交转换。

Sep, 2021

利用信息论探测套件，我们分析了 9 项任务，涵盖语法、语义和推理，在 2 百万次预训练步骤和 5 个种子中，识别了关键学习阶段，语法知识在全面训练的 0.5% 后迅速获得，持续性能改善主要来自对开放域知识的获取，而语义和推理任务则受益于后期对长距离语境化和更高专业化的提升，跨任务相似性的测量进一步揭示了语言相关任务在训练期间共享信息，这在关键学习阶段比之前或之后更为明显。我们的发现对模型可解释性、多任务学习和有限数据学习具有重要意义。

Oct, 2023

本研究使用 Poincare 探针将 contextualized word embeddings 映射到具有明确定义层次结构的 Poincare 子空间中，发现在句法子空间中我们的探针比欧几里德探针更好地恢复了树结构，同时在情感子空间中，我们揭示了正面情感和负面情感的两种潜在的元嵌入，并展示了词汇受控情境化将如何改变嵌入的几何定位。

Apr, 2021

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

Transformer-based 神经语言模型在自然语言处理任务中取得了最先进的性能，但一个开放问题是这些模型在处理自然语言时在词序 / 句法、词共现 / 主题相关信息中所依赖的程度。本文通过研究基于 Transformer 模型（BERT 和 RoBERTa）在英文一系列探测任务中的表现，从简单词汇任务如句子长度预测到复杂语义任务如成语标记识别，探讨了这个问题，以此加入对这一争论的贡献，并提出了一种新的探测方法 —— 主题感知探测。初步结果显示，Transformer 模型在其中间层既编码了主题信息又编码了非主题信息，但理解习惯用法的能力主要基于它们的识别和编码主题能力。此外，对这些模型在其他标准探测任务上的表现的分析表明，对主题信息相对不敏感的任务也是对这些模型相对困难的任务。

Mar, 2024