调查机器翻译中性别偏见的标记和驱动因素
我们研究了不同语言中大型语言模型生成的输出中的性别偏见,通过三项测量方法评估性别相关背景下选择描述性词语的性别偏见、选择性别相关代词(她 / 他)的性别偏见以及生成对话的主题的性别偏见。我们的研究表明,在我们调查的所有语言中都存在显著的性别偏见。
Mar, 2024
本文研究了机器偏见和性别偏见,使用性别中性语言对 Google 翻译进行了实验,结果显示翻译的默认性别更偏向于男性,特别是在 STEM 领域中,这种偏见程度远超实际分布,因此需要对当前的统计翻译工具进行偏误纠正。
Sep, 2018
该论文介绍了一种利用大型语言模型对西班牙语语料库进行定量分析性别表达的新方法,通过识别和分类与人类实体相关的具有性别特征的名词和代词,揭示了四个广泛使用的基准数据集中存在的显著性别差异,从男性到女性的比例范围从 4:1 到 6:1,这些发现证明了我们方法在性别语言中进行偏见量化的价值,并建议在自然语言处理中应用该方法,为更公平的语言技术发展做出贡献。
Jun, 2024
本研究提出了一种用于评估机器翻译系统性别偏见的测试集方案,并构建了一组既不带有偏见性别也不过度偏向一侧的词组,然后通过该方案评估了传统机器翻译系统的性别偏见。
May, 2019
本章检查了机器翻译在持续性别偏见方面的作用,强调了跨语言环境和统计依赖性所带来的挑战。提供了与传统神经机器翻译方法和作为机器翻译系统的生成式预训练变压器模型相关的现有研究的全面概述。通过在英意翻译环境中使用 ChatGPT(基于 GPT-3.5)的实验,进一步评估了 ChatGPT 目前解决性别偏见的能力。研究结果强调了在机器翻译系统中减少偏见的发展的持续需求,并强调了在语言技术中培养公平和包容的重要性。
Jan, 2024
本研究利用两个共指解析数据集,通过 8 种有语法性别的目标语言中的形态分析,第一次提出了机器翻译中性别偏见的挑战集和评估协议,并发现四个流行的工业机器翻译系统和两个最新的学术机器翻译模型在所有测试的目标语言上都容易出现性别偏见翻译错误。
Jun, 2019
大语言模型可以生成具有偏见的回答。然而,先前的直接探测技术包含性别提及或预定义的性别刻板印象,这些很难全面收集。因此,我们提出了一种基于条件生成的间接探测框架,旨在诱使大语言模型揭示其性别偏见,即使没有显式的性别或刻板印象提及。我们探索了三种不同的策略来揭示大语言模型中的显式和隐式性别偏见。我们的实验证明,所有经过测试的大语言模型都表现出显式和 / 或隐式的性别偏见,即使输入中没有性别刻板印象。此外,模型大小的增加或模型对齐会放大大多数情况下的偏见。此外,我们通过超参数调整、指导性指导和去偏调整这三种方法来研究大语言模型中的偏见缓解。值得注意的是,即使没有显式的性别或刻板印象,这些方法也被证明是有效的。
Feb, 2024
本研究使用数据挖掘技术,调查了与软件开发相关的 56 项任务,发现不同任务中含有性别代词的比例差异显著,其中测试与帮助他人的任务中含有 “他” 这一性别代词比例显著较高,这些发现揭示了与软件开发任务相关的性别偏见模式。
Mar, 2023
探讨了细调指令模型在机器翻译中存在性别偏见的问题,并提出了基于少样本学习的易于实施且有效的偏见缓解解决方案,以实现更公平的翻译。
Oct, 2023
本研究提出了一种基于跨语言枢轴技术的新颖方法,用于自动生成高质量的性别标签,并展示了这些数据可用于微调 BERT 分类器,该分类器对于西班牙语中丢失的女性代词具有 92%的 F1,相比之下,神经机器翻译模型和非微调 BERT 模型分别为 30-51% 和 54-71%。我们使用来自我们分类器的标签来增强神经机器翻译模型以改进代词翻译,同时仍具有可并行化的翻译模型,可以逐句翻译。
Jun, 2020