本文介绍了一种先进的俄语语言理解评估基准 ——RussianGLUE，并提供了包括基线、人类评估、开源框架和总排行榜等丰富内容。我们还比较了多语言模型在适应性诊断测试集上的表现，并提出了进一步扩展或评估最先进模型的第一步。

Oct, 2020

该论文介绍了俄语 SuperGLUE 1.1，这是一个基于 GLUE 风格的更新版基准测试，专为俄语 NLP 模型设计。新版包括了各种技术、用户体验和方法论的改进，并提升了基准测试工具包，以支持各种架构的 NLP 模型。同时，作者还将 SuperGLUE 整合到开源模型的产业评估框架 MOROCCO 中，以加权平均指标、推理速度和占用内存等多种指标来评估模型的性能。

Feb, 2022

本研究使用零样本和小样本学习进行跨语言情感分析。采用三种语言的 BERT-based 模型进行语种间的情感分类，提出了一种简单多任务模型。通过单任务和多任务实验的零样本和小样本场景对克罗地亚言和斯洛文尼亚情感分析进行评估。

Dec, 2022

本文介绍了一个新的、全面的 Polish NLP 基准测试 LEPISZCZE 以及为其他低资源语言设计类似基准测试的蓝图，作者还提供了创建 Polish 基准测试时获得的洞察力和经验。

Nov, 2022

本研究旨在将成功的英语问答方法 UnifiedQA 适应于资源较少的斯洛文尼亚语，使用编码器 - 解码器变压器 SloT5 和 mT5 模型，处理四种问答格式，并证明一般模型至少可以和专业模型一样回答不同格式的问题。同时，通过跨语言转移从英语中进一步提高了结果，尽管我们展示了斯洛文尼亚语领域的最新结果，但性能仍然落后于英语。

Nov, 2022

本文介绍了新的预训练和迁移学习模型和方法在语言理解任务中取得显着性能提升，提出了一个新的基准测试 SuperGLUE，在 GLUE 基准测试的基础上增加难度更大的语言理解任务、一个软件工具包和公开排行榜，可在 super.gluebenchmark.com 上获取。

May, 2019

本文介绍了 XGLUE 数据集，它是一个可用于训练大规模跨语言预训练模型和评估其在多样的跨语言任务中表现的新的基准数据集。与 GLUE 不同的是，XGLUE 提供了 11 种多样化的任务来覆盖自然语言理解和生成等问题，同时为每个任务提供了多种语言的标注数据。本文还扩展了最近的跨语言预训练模型 Unicoder，以涵盖自然语言理解和生成任务，并在 XGLUE 上作为强基线进行评估。此外，本文还评估了多语言 BERT、XLM 和 XLM-R 的基础版本（12 层）进行比较。

Apr, 2020

该研究论文介绍了一个手动注释的语料库，包含六种斯拉夫语言的命名实体。该研究使用基于 Transformer 的神经网络架构和预训练的多语言模型进行命名实体识别和分类，以及命名实体的词形还原和链接。

Mar, 2024

本研究介绍了一个跨越 20 种语言的多模式多语言标准化测试集，用于评估多语言多模式的迁移学习效果，结果表明翻译测试优于零射击传递，只有很少的无标签文本数据可用于预训练，而且源语言和目标语言之间的距离对成绩的影响较小。

Jan, 2022

2023 年多语言演讲通用性能基准（ML-SUPERB）挑战扩展了备受赞誉的 SUPERB 框架，强调自监督模型在多语音识别和语言识别中的应用。挑战包括一个研究轨道，重点是将 ML-SUPERB 应用于特定的多语言主题，一个挑战轨道，用于模型提交，以及一个新语言轨道，在这个轨道上，语言资源研究人员可以贡献和评估他们的低资源语言数据，以适应多语音识别的最新进展。研究结果表明，仅仅提高模型规模并非多语音任务的终极解决方案，多种语音 / 语调类型在多语音处理中存在重大挑战。

Oct, 2023