May, 2023
GlobalBench:自然语言处理全球进展基准测试
GlobalBench: A Benchmark for Global Progress in Natural Language Processing
Yueqi Song, Catherine Cui, Simran Khanuja, Pengfei Liu, Fahim Faisal...
TL;DR本文介绍了一个名为 GlobalBench 的多语言测试集,主要用于跟踪和激励全球对于不平衡的 NLP 系统表现以及对于被较少关注的语言技术的开发。GlobalBench 关注的不仅是准确度,同时还监测其涵盖的各种语言的效用和平等性,识别最需要开发的语言,并奖励相关研究。至今,GlobalBench 覆盖了 190 种语言的 966 个数据集,并有 1128 个系统提交,跨越 62 种语言。