探寻嵌入的纹理: 探讨嵌入的构造
本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。
Apr, 2020
本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。
May, 2020
通过引入一系列探测任务，对比测试了BERT、ELMo和GPT等语境编码器对于上下文信息的编码能力，发现每种信息类型确实都是以上下文信息的形式编码的，但是不同的编码器在分配特征到哪些标记上、特征分配的细度、特征编码的鲁棒性等方面存在差异。
May, 2020
本研究提出了Amnesic Probing方法，用以替代传统的伪推式分析方法，并通过对BERT进行一系列分析，发现伪推性能并不与任务重要性相关，并呼吁加强对从伪推结果中得出行为或因果结论的主张的审查。
Jun, 2020
通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。
Jun, 2020
本文讨论了自然语言处理系统中之前探测语言结构方法的缺陷，并提出了基于多元高斯探针的内在探测框架，以便于检测词向量的语言信息。通过36种语言的实验证明，多数形态语法特征由少数神经元可靠编码，而fastText相较于BERT更加集中其语言结构。
Oct, 2020
本研究探究了不同的预训练模型（BERT、ELECTRA 和 XLNet）对语言信息编码的差异性，并表明基于深度的评估策略往往存在误导性，我们使用了一种信息论探究方法以获取更为可靠和有用的结论。
Sep, 2021
该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对Contextual embeddings的探究，比较了fastText和BERT在不同任务上的性能表现差异。
Oct, 2021
本文提出了一种新的潜变量公式用于构建内在探测器以确定语言属性所在位置，并提出一个可行的变分逼近方法，用于求解对数似然函数计算，结果表明这个模型能够获得更好的内部探测精度，并且在跨语言的形态句法方面表现良好。
Jan, 2022
通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。
Jun, 2024