多语言文本分类中缓解性别偏见的易于适应性
这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战,并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准,同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。
Jul, 2023
翻译系统中存在的性别偏见问题影响翻译质量,作者使用许多小规模相似数据的迁移学习替代了传统的样本平衡方法,并使用弹性权重共享和基于网络重叠的方法解决了迁移学习中的遗忘问题。最后,作者构建了优于其他系统的词网重新评分方案来解决性别偏见问题。
Apr, 2020
针对多语言机器翻译模型中明显的性别偏见问题,提出了一种新的缓解方法,Gender-Aware Contrastive Learning,通过伪标签在编码器嵌入中编码性别信息来提高性别准确度并改善其他目标语言的性别准确度。
May, 2023
本研究到了关于文档分类模型公平性评估的现有研究,主要使用无作者人口属性基准事实的合成单语言数据。在该工作中,作者们汇编并发布了一个多语言 Twitter 语料库,用于推断作者的四个人口属性:年龄,国家,性别和种族 / 民族。该语料库涵盖了五种语言:英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用 Figure Eight 的众包平台评估了推断出的人口属性标签的准确性。为了检查可能引起偏见的因素,我们对英语语料库进行了人口预测的实证分析。我们评估了四种流行文档分类器的性能,并评估了基准分类器在作者级人口属性上的公平性和偏见。
Feb, 2020
本文提出了一种针对多语言文本分类的去偏置框架,包括多语文本表示模块、语言融合模块、文本去偏置模块和文本分类模块,并拥有对多维度公平性评估方法。该方法无需依赖语言资源,可以拓展到其他语言。
Mar, 2023
本文介绍了一种基于对抗学习的机器翻译性别偏见缓解框架,该框架通过在预训练的大型语言模型上微调网络目标,以及从数据自身推断保护变量的任务中开发措施,实现了对机器翻译中的性别偏见的缓解,提高了男女实体翻译质量的差异。
Mar, 2022
该论文介绍了一种利用大型语言模型对西班牙语语料库进行定量分析性别表达的新方法,通过识别和分类与人类实体相关的具有性别特征的名词和代词,揭示了四个广泛使用的基准数据集中存在的显著性别差异,从男性到女性的比例范围从 4:1 到 6:1,这些发现证明了我们方法在性别语言中进行偏见量化的价值,并建议在自然语言处理中应用该方法,为更公平的语言技术发展做出贡献。
Jun, 2024
提出了一种用于检测和减轻语言模型中性别偏见的新方法,通过因果分析确定了问题模型组件,发现中上部前馈层最容易传递偏见,根据分析结果通过线性投影来改进模型,该方法(DAMA)显著减少了偏见,并保持了模型在下游任务上的性能。
Oct, 2023
本论文提出了一个对自然语言文本中的性别偏见进行分解的通用框架,通过多维度的性别偏见分类器可以控制生成模型性别偏差的问题,检测任意文本中的性别偏见,并揭示与性别相关的冒犯性语言。
May, 2020