Nov, 2022

这就是方法：设计和编译 LEPISZCZE，一份全面的波兰自然语言处理基准测试

PDF
TL;DR本文介绍了一个新的、全面的 Polish NLP 基准测试 LEPISZCZE 以及为其他低资源语言设计类似基准测试的蓝图，作者还提供了创建 Polish 基准测试时获得的洞察力和经验。
发现论文，激发创造
  • KLEJ: 波兰语言理解的全面基准

    本研究基于 Transformer 模型提出了一个基于多任务的波兰语言解析的测试基准，并介绍了针对该语言的 Transformer 模型 HerBERT，该模型在 9 个任务中表现最好，其中包括命名实体识别和情感分析等多个领域。

    May, 2020

  • 高效的语言自适应预训练：为波兰语扩展最先进的大型语言模型

    使用英语大型语言模型（LLMs）通过微调，成功地生成了波兰文文本，并证明了该方法对于为现有 LLMs 添加新语言是可行的。

    Feb, 2024

  • PL-MTEB：波兰大规模文本嵌入基准

    该研究介绍了波兰大规模文本嵌入基准（PL-MTEB），它是一个包含 28 个不同自然语言处理任务的全面基准，涉及五种任务类型。研究人员通过波兰 NLP 社区先前使用的数据集对这些任务进行了适应。此外，研究人员创建了一个名为 PLSC（波兰科学图书馆语料库）的新数据集，其中包括波兰科学出版物的标题和摘要，用作两个新的聚类任务的基础。他们评估了 15 个可公开获取的文本嵌入模型，其中包括波兰语和多语言模型，并为每个任务类型和整个基准收集了详细结果。PL-MTEB 提供开源代码。

    May, 2024

  • 斯洛文尼亚超级 GLUE 基准：翻译和评估

    通过描述 Slovene combined machine-human translated SuperGLUE benchmark 的翻译过程中出现的问题，我们评估了单语、跨语言以及多语言等三种模式下的表现，并发现单语斯洛文尼亚语 SloBERTa 模型优于大规模多语言和三语 BERT 模型。但这些模型在某些任务上展现出良好的跨语言表现。

    Feb, 2022

  • NLPre：一个对自然语言预处理系统进行以语言为中心的基准测试的修订方法

    使用基于 Transformer 的架构，通过提出的基于语言的基准系统，对多种自然语言预处理工具进行综合评估和性能追踪，旨在解决现有评估方法的不足和公平性问题。

    Mar, 2024

  • RussianSuperGLUE: 俄语语言理解评测基准

    本文介绍了一种先进的俄语语言理解评估基准 ——RussianGLUE，并提供了包括基线、人类评估、开源框架和总排行榜等丰富内容。我们还比较了多语言模型在适应性诊断测试集上的表现，并提出了进一步扩展或评估最先进模型的第一步。

    Oct, 2020

  • BEIR-PL：波兰语零样本信息检索基准

    本文旨在建立广泛的大规模波兰语信息检索资源，翻译所有可获得的开放式信息检索数据集并引入 BEIR-PL 基准测试，对其中的数据集进行评估和比较，以进行先进波兰语检索模型的进一步开发、训练和评估，并评估各种 IR 模型的性能，并训练了各种重新排序模型来增强 BM25 检索。

    May, 2023

  • 使用文本到文本模型进行波兰语转移学习的评估

    介绍了一个用于评估波兰语文本生成模型的新基准。基准由多种任务和数据集组成，可以用于翻译、摘要和问答等自然语言处理任务的评估，并特别介绍了用于波兰语的通用文本生成模型 plT5。

    May, 2022

  • GlobalBench：自然语言处理全球进展基准测试

    本文介绍了一个名为 GlobalBench 的多语言测试集，主要用于跟踪和激励全球对于不平衡的 NLP 系统表现以及对于被较少关注的语言技术的开发。GlobalBench 关注的不仅是准确度，同时还监测其涵盖的各种语言的效用和平等性，识别最需要开发的语言，并奖励相关研究。至今，GlobalBench 覆盖了 190 种语言的 966 个数据集，并有 1128 个系统提交，跨越 62 种语言。

    May, 2023

  • GLGE：一个新的通用的自然语言生成评估基准

    本篇论文介绍了新的多任务基准测试 ——GLGE，以综合比较自然语言生成模型在八个语言生成任务上的泛化性能，包括三个难度子任务，并公开数据集及源代码，以促进自然语言生成模型的预训练和迁移学习研究。

    Nov, 2020