该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

Mar, 2019

本文在多语言领域扩展了探究句子表示的任务，提供了五种语言的维基百科数据集，评估了六种语言的句子编码器在保留语言信息方面的表现。发现跨语言映射的句子表示通常比基于自然语言推理的英文编码器训练的表示更好地保留某些语言信息。

Jun, 2019

该研究提出了 Finspector, 一种基于视觉分析的人性化文本偏差检测工具，通过语言模型生成的对数似然得分来检测不同类别中的偏差，旨在促进公正使用这些模型的部署

May, 2023

本文提出并应用一种 GUI 辅助框架，使我们能够轻松地探寻普遍依赖数据中所有形态句法特征所出现的大量语言。我们发现，反映了过去几年自然语言处理的西方中心趋势，mBERT 模型中揭示的大多数规律对于西欧语言而言是典型的。因此，我们提出了一个工具包，以系统化解决多语种模型中存在的缺陷，为 104 种语言和 80 种形态句法特征提供可重复的实验设置。

Oct, 2022

本文介绍 ReadProbe，它是一款支持横向阅读的工具，使用 OpenAI 的生成式大语言模型和 Bing 搜索引擎，它能够生成有用的问题，搜索相关文档，并生成良好归因的答案，以帮助人们更好地评估在线信息。

Jun, 2023

该研究通过使用新型正交结构探针，针对比较语言特征研究并评估了 9 种不同语言中 mBERT 的语境表示所编码的句法和词汇结构信息，并发现对于与英语密切相关的语言，在跨语言嵌入空间中无需进行转换，而对于其他语言，则需要学习分别进行的正交转换。

Sep, 2021

通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

Jun, 2020

该研究提供了一个关于开源多语言工具 StyloMetrix 的概述，它提供了涵盖语法、句法和词汇等各个方面的风格测量文本表示。StyloMetrix 覆盖了四种语言：波兰语作为主要语言，英语、乌克兰语和俄语。每个特征的标准化输出可成为机器学习模型的有益课程，也可以成为任何深度学习算法中嵌入层的有价值补充。我们力求提供对 StyloMetrix 向量应用的简明而全面的概述，并解释开发的语言特征集合。实验证明，在使用简单算法如随机森林分类器、投票分类器、逻辑回归等进行监督内容分类时，取得了令人满意的结果。深度学习评估揭示了 StyloMetrix 向量在增强由 Transformer 体系结构提取的嵌入层中的实用性。StyloMetrix 已经被证明是机器学习和深度学习算法对执行不同分类任务的可靠来源。

Sep, 2023

本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。

Apr, 2021

通过开发可完全学习的频率过滤器，我们可以在不同层次和频率上捕捉语言信息。在单语言环境下，我们证明了频谱探测比手工滤波器具有更高的信息量，并在六种语言中的七个 NLP 任务中进行了多语言分析。这些分析鉴定了独特的频谱轮廓，是一种语言直观的方法，而且跨语言是一致的，并展示了其作为强大而轻量级任务描述符的潜力。

Oct, 2022