Jun, 2024
朝着大规模多语言整体偏见
Towards Massive Multilingual Holistic Bias
TL;DR在当前自动生成语言的研究领域，随着现有模型变得越来越多语种化，有必要了解、评估和减轻人口统计偏见。为了解决这个问题，我们提出了 MASSIVE MULTILINGUAL HOLISTICBIAS（MMHB）数据集和基准测试，初始使用八种语言，包含大约 600 万个句子，代表了 13 个人口统计轴。我们提出了一种自动构建方法，通过有限的人工标注来进一步扩展 MMHB 句子的语言覆盖范围和规模。我们的方法利用多语言句子构建中的占位符，并采用一种系统的方法来独立翻译句子模式、名词和描述词。结合人工翻译，该技术精心设计占位符，以动态生成多个句子变体，并显著减少人工翻译工作量。为了避免基于英文的视角，并包括需要的所有语言的形态变化，翻译过程已进行了精心的处理，从原始的英文 HOLISTICBIAS 进行改进。最后，我们利用 MMHB 在机器翻译任务中报告了性别偏见和增加的毒性。通过性别分析，MMHB 揭示了：(1) 缺乏性别鲁棒性，对于男性语义句子，CHRF 指标平均比女性的高出将近 4 个百分点；(2) 趋向于过度普遍化到男性形式，对于男性参考文献，CHRF 指标平均比女性的高出将近 12 个百分点。MMHB 引发了高达 2.3% 的增加毒性。