本文提出了一种方法来探测在预训练语言模型中进行逻辑推理需要的语言现象，发现预训练语言模型对于一些推理所需要的语言信息进行了编码，同时也发现了有一些信息的编码比较弱，但是预训练语言模型通过微调能够有效地学习到缺失的语言信息。这些结果为语言模型作为支持符号推理方法的语义和背景知识库的潜力提供了有价值的见解。

Dec, 2021

本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

Apr, 2020

本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

Oct, 2020

本篇论文旨在探讨比较语言学理论和神经语言模型之间的相关性，其中使用了语言模型来衡量语义距离并研究了其对于语言学的意义、提出了衡量语言模型中的意外性的方法以及证明了该方法在探究语言运用的知识结构方面的有效性。

Jul, 2022

基于逆向字典任务，探索和提升大型语言模型的推理能力，并预测其在一般推理性能上的表现。

Feb, 2024

本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

May, 2020

本文提出了一种新的潜变量公式用于构建内在探测器以确定语言属性所在位置，并提出一个可行的变分逼近方法，用于求解对数似然函数计算，结果表明这个模型能够获得更好的内部探测精度，并且在跨语言的形态句法方面表现良好。

Jan, 2022

大型语言模型（LLMs）在某些语言中已经能够生成高度流畅的文本，而无需专门设计用于捕捉语法或语义连贯性的模块。对于自然语言处理中语言专长的未来意味着什么？我们强调几个方面，其中 NLP（仍然）依赖于语言学，或者语言学思维可以阐明新的方向。我们围绕着 $RELIES$ 这个首字母缩略词阐述我们的观点，该缩略词涵盖了语言学对 NLP 做出贡献的六个主要方面：资源、评估、低资源环境、可解释性、解释和语言研究。这个列表并不详尽，也不是每个主题下的每个努力都以语言学为主要参考；但从宏观上看，这些方面突显了研究机器系统与人类语言系统之间的持久重要性。

May, 2024

利用信息论探测套件，我们分析了 9 项任务，涵盖语法、语义和推理，在 2 百万次预训练步骤和 5 个种子中，识别了关键学习阶段，语法知识在全面训练的 0.5% 后迅速获得，持续性能改善主要来自对开放域知识的获取，而语义和推理任务则受益于后期对长距离语境化和更高专业化的提升，跨任务相似性的测量进一步揭示了语言相关任务在训练期间共享信息，这在关键学习阶段比之前或之后更为明显。我们的发现对模型可解释性、多任务学习和有限数据学习具有重要意义。

Oct, 2023

使用 Pareto Optimality 观点研究编码的语言信息和任务性能之间的动态关系，提出了一种多目标优化的方法，通过对两个流行的 NLP 任务进行实验发现，一些句法信息有助于 NLP 任务，而编码更多的句法信息不一定能够提高性能。

Mar, 2022