MiTTenS: 评估翻译中的误用性别识别数据集
通过对美国的性别多样化个体进行调查,本文是第一篇针对误用称谓所缺乏的干预研究进行调查,并根据调查结果提出了误用称谓干预任务和评估数据集 MisgenderMender,该数据集包括社交媒体内容和关于非二元性别公众人物的文本,通过检测和纠正误用称谓的存在,评估目前的自然语言处理系统并提出未来模型需解决的挑战。
Apr, 2024
本研究利用两个共指解析数据集,通过 8 种有语法性别的目标语言中的形态分析,第一次提出了机器翻译中性别偏见的挑战集和评估协议,并发现四个流行的工业机器翻译系统和两个最新的学术机器翻译模型在所有测试的目标语言上都容易出现性别偏见翻译错误。
Jun, 2019
本研究提出了一种用于评估机器翻译系统性别偏见的测试集方案,并构建了一组既不带有偏见性别也不过度偏向一侧的词组,然后通过该方案评估了传统机器翻译系统的性别偏见。
May, 2019
研究了语音翻译中存在的性别偏见问题,并基于英意 / 英法语言方向比较了级联与端到端技术,着重于探究如何利用音频信息来解决自然语言中的性别偏见问题。
Jun, 2020
探讨了细调指令模型在机器翻译中存在性别偏见的问题,并提出了基于少样本学习的易于实施且有效的偏见缓解解决方案,以实现更公平的翻译。
Oct, 2023
在机器翻译中,当源语言句子未提供主语的性别信息时,系统往往选择最常见的翻译选项,从而可能加剧某些群体和人员的偏见和边缘化。为减少对性别刻板印象的依赖,本论文提出使用包含主语性别信息的单词级别注释训练机器翻译系统的方法,实验结果表明,这可使机器翻译系统在五种语言对上的 WinoMT 测试集上准确度提高高达 25.8 个百分点。
Oct, 2020
最近的神经方法在神经机器翻译(NMT)系统质量方面取得了重大进展。然而,这些系统经常会产生具有不准确性别的翻译,这可以追溯到训练数据中的偏见。Saunders 和 Byrne 通过使用一个包含平衡性别职业词的手工制作数据集来解决这个问题。通过使用这个数据来微调现有的 NMT 模型,他们证明了性别偏见可以显著减轻,尽管这会导致由于灾难性遗忘而降低翻译质量。然而,我们发现,简单地补充手工制作的数据集与基础模型训练语料库的随机样本就足以显著减少灾难性遗忘。我们还提出了一种新颖的领域自适应技术,利用 Zmigrod 等人提出的反事实数据生成技术创建的领域内数据,在不显著降低翻译质量的情况下进一步提高 WinoMT 挑战测试集的准确性。我们展示了它在从英语到三种形态丰富的语言(法语、西班牙语和意大利语)的 NMT 系统中的有效性。相关数据集和代码将在 Github 上提供。
Nov, 2023
本章节主要关注低资源语言背景下机器翻译中与性别相关的错误。通过对本土语言孟加拉语作为低资源语言的案例研究,阐述了当源文本中没有提供性别信息时,在与高资源英语之间的翻译中如何推测和假设性别,并讨论了这种错误导致的后殖民主义和社会影响,最后讨论了提高语言代表性的潜在解决方案。
Jan, 2024
这篇研究主要关注英德机器翻译中性别公平语言的问题,通过丰富一个社区创建的性别公平语言词典和多句子测试实例的研究资源,对两个商业系统和六个神经机器翻译模型进行了评估,发现大多数系统主要产生男性形式,甚少提供性别中立的变体,强调了未来研究的必要性。
Jun, 2024
通过使用 WinoMT 自动测试套件,我们对 19 个系统进行了研究,发现性别偏见在机器翻译中很常见,系统通常使用数据中的假性别关联而非有意义的上下文信息。
Oct, 2020